Gradec je prema odredbama Zlatne bule izdane 1242. godine nakon tatarskog pustošenja imao zadatak izgraditi i obrambene zidine koje su, nakon što su izgrađene, bile povod da se banovi presele s Kaptola na nešto sigurnije gradečko brdo. Nakon što su banovi napustili Kaptol, njihovi su dvori ostali prazni dok nisu nestali krajem 13. stoljeća kada se gradila utvrda za obranu biskupskog grada.
Kaptolsko područje, koje je obuhvaćalo nedovršenu katedralu, biskupski dvor, bolnicu, školu, samostane i crkve, bilo je ograđeno utvrdama za koje se pretpostavlja da je dao izgraditi oko 1284. godine biskup Timotej. Obrambeni sustav Kaptola je zapravo bio drvena palisadna utvrda s nabijenom zemljom, a pretpostavlja se da su to, barem u osnovi, bile još utvrde slavenskog župnog grada što su ih Tatari razorili, pa ih je Timotej samo obnovio.
Zidine su tu stajale sve do kraja 14. stoljeća kada su ih, po nalogu kralja Žigmunda i bana Ladislava, srušili građani Gradeca da se u vrijeme pobune braće Horvata iza njih ne mogu skloniti pobiljenici i kraljevi neprijatelji pod vodstvom bana Ivaniša.
Proširio se glas da pobunjenici s vojskom kreću prema Zagrebu, a Kaptol nije bio spreman, ali se nije niti htio braniti, jer su osim biskupa i mnogi kanonici, inače Žigmundovi protivnici, napustili grad.
Od tog uništavanja zidina, Kaptol nije bio utvrđen sve do druge polovice 15. stoljeća kada su zbog nadolazeće opasnosti od Turaka počeli graditi nove i jače zidine.