У 1602 р. коштом князя Януша Заславського почали будівництво Ізяславського бернардинського монастиря. Монастир проєктували архітектори Якуб Мадлайн, Бернард Авелідес, Паоло Фонтана. Пізніше фінансову опіку взяв князь Павло Сангушко. Від 1740 року у монастирі були студії філософії, теології і риторики. Монастирська бібліотека нараховувала близько 5 тисяч томів, в тому числі багато рідкісних видань.
Від 1918 року будівлі монастиря знову використовувалися як в’язниця. У будівлях монастиря розташувалися Шепетівський, далі Ізяславський БУПР (будинок примусових робіт) та Особливий відділ ЧК-ГПУ 2-ї Чернігівської ім. Німецької компартії Червоного козацтва кавалерійської дивізії. У в’язниці засідала «трійка», орган позасудового винесення вироків.
26 жовтня 1925 р. начальник Шепетівського арештантського будинку відправив телеграму до НКВС Української СРР про влаштування в’язниці в Ізяславському бернардинському монастирі.
В телеграмі йшлося: «У зв’язку з перевантаженістю Шепетівський виконком постановив перевести арештантський дім до монастиря бернардинців у Ізяславі. Дозвольте виїзд до Харкова для особистої доповіді з невідкладних питань».
У 1930 році в келіях монастиря розташовувався БУПР (будинок примусових робіт), який щойно почали ліквідовувати, в ув’язненні перебувало лише 20 чоловік.
Напередодні німецько-радянської війни у в’язничних стінах проводилися експерименти над людьми, випробовувалися токсичні та психотропні препарати. З початком німецького наступу персонал і службовці НКВС втекли, полишили піддослідних напризволяще.
Після війни у монастирських стінах розташовувалася трудова колонія для близько 200 «неповнолітніх правопорушників», дітей «ворогів народу». З 1954 року трудова колонія була секретним об’єктом, що підпорядковувався безпосередньо Москві.
