U srednjovjekovnom Gradecu, dva su svećenička reda krajem 15. stoljeća pronašla spas pred prodorom Turaka – dominikanci i pavlini. Za dominikance se zna da su na području Zagreba živjeli već u prvoj polovici 13. stoljeća, kada su imali svoj samostan i crkvu na početku današnje Vlaške ulice.
Kada krajem 15. stoljeća prijeti opasnost od Turaka, dominikanci su smatrali da bi mogli biti zaštićeniji na gradečkoj uzvisini opasanoj zidinama, nego u nizini podno Kaptola. Još 30-ih godina 14. stoljeća dominikanci su imali zemljište u jugoistočnom dijelu Gradeca. Uoči prijetnje Turaka, papa Siksto IV je dominikancima dopustio da sruše svoj stari samostan u podgrađu te se presele na Gradec gdje će biti nešto zaštićeniji od neprijatelja, što i čine 1473. godine.
Za malu drvenu kapelicu Sv. Katarine se ne zna točno da li je stajala na njihovom zemljištu, ili su ju pak oni sami sagradili još 1377. godine, no zna se da je po njihovom dolasku na Gradec krajem 15. stoljeća ona dospjela u njihovo vlasništvu. Kraj te se kapele nalazila zidanica sa zemljištem, koje su dominikanci kupili godinu prije dolaska na Gradec (1472. godine). Uz dopuštenje kralja Matije, na tom zemljištu 1478. godine dominikanci grade novi samostan, koji se nalazi na mjestu buduće isusovačke gimnazije koju će sagraditi isusovci nakon odlaska dominikanaca početkom 17. stoljeća..
Prilikom dolaska na Gradec, dominikanci su bili oslobođeni svih davanja, poreza i daća, kao i od obavljanja svih javnih radova.
Iz istog se razloga, kao dominikanci, na gradečku uzvinisu sele i pavlini. Gradska općina im je iznajmila kulu Lotrščak i okolno dvorište u blizini Poljskih vrata (danas Ulica Dverce), a dobili su dopuštenje da na dvorištu sagrade i iznajmljuju kuće.
Pavlini su stanovali u kuli Lotrščak gdje su u podrumu, uz dopuštenje općine, točili vino. Njihov trošak stanovanja na Gradecu je bio sljedeći: za točenje vina su plaćali jednu forintu godišnje, a za iznajmljenu kulu plaćali su općini stanarinu.
Remetski samostan pavlina je stradao 1484. godine od Turaka, a kako bi ga ubuduće zaštitio, kralj Matija Korvin je na njegovoj sjevernoj strani podignuo kulu i opasao ga zidom, no pavlini ostaju obitavati u kuli na južnom dijelu Gradeca.