Имение Дубае принадлежало иезуитам с середины XVII до конца XVIII столетия. И поскольку в Пинске был иезуитский коллегиум, то Дубае они превратили в свою летнюю резиденцию. И начали тут строительство. В старом Полозовском замке иезуиты открыли школу для детей-сирот, разбили парк, начали строить дворец и костёл рядом — костёл Воздвижения Святого креста. Построили его в стиле барокко, и с тех самых пор храм внешне практически не изменился.
Во время Первой Мировой войны в Дубаях шли бои, деревня несколько раз переходила из рук в руки — от немцев к российскому войску и обратно. Погибло множество солдат, и местные жители собирали тела и хоронили их в старом иезуитском парке, где сейчас русские солдаты лежат рядом с немецкими — перед Богом все равны.
