Одной из первых стала суконная мануфактура. Здание, которое сохранилось до наших дней, тоже принадлежало суконной фабрике, но построено было чуть позже — в 1809 году.
Здесь жил князь Ксаверий Любомирский вместе со своей дочерью Клементиной, которую очень любил и баловал. И вот однажды его вызвали в Петербург по каким-то делам. Любомирский позвал своего управляющего и сказал, что уезжает, а хозяйкой остаётся его дочь Клементина. И чтобы управляющий во всём её слушался и делал всё, что она прикажет.
Как только отец за порог, так Клементина разослала гонцов к своим друзьям. И сюда во дворец собралось много народу. И был среди них один небогатый, но очень красивый шляхтич. Звали его Петр Кроер. Наш земляк Адам Киркор в книге «Живописная Россия» этот случай описывает следующим образом: «На вечере молодые люди встретились и танцевали до самого утра, а после и дело решили».
Ещё через день Петр Кроер тайно приехал сюда – тут уже было всё подготовлено — и два монаха обвенчали Кроера и Клементину. А после Клементина вызвала управляющего и приказала, чтобы тот отдал ей все деньги, которые у него имелись. Тот, ни о чём не подозревая, выдал ей деньги, и Клементина вместе с Петром отправились в свадебное путешествие. В общем, исчезли в неизвестном направлении.
Когда Любомирский вернулся в Дубровно и ему об этом всём рассказали, он, как говорят, не сказал ни слова, молча поужинал и лёг спать. А ночью в Дубровно загорелся монастырь бернардинцев, и сгорел вместе со всем имуществом. Спасти удалось только костёл. А утром в Днепре выловили двух утопленников, в которых опознали двух монахов, венчавших молодых. Остальные бернардинцы разбежались по окрестным монастырям.
Люди стали говорить, что всё это было сделано по приказу Ксаверия Любомирского. Этот слух дошёл аж до русского царя Павла I. Сбыла назначена судебная комиссия, которую возглавил генерал Пасек. Когда они приехали сюда, Любомирский встретил их очень тепло, а после ужина пригласил Пасека сыграть в карты — на деньги. Говорят, что около недели шло следствие, и всё это время Пасек играл с Любомирским в карты, и выиграл немало денег. А приехав в Петербург, доложил Павлу I, что деревянный монастырь сгорел из-за неосторожного обращения с огнём, а монахи утонули в Днепре, потому что ловили ночью в лодке рыбу. И на всё воля Божья. А никакого преступления там не было.
Потом, чтобы как-то загладить свою вину перед бернардинцами, Любомирский на месте сгоревшего деревянного монастыря начинает строительство нового — каменного, в переходном стиле от барокко к классицизму.
