U izgradnji Gradeca (kod ponovne izgradnje grada nakon tatarskog pustošenja tog područja) važnu ulogu ima i izgradnja obrambenih zidova koji su “grlili” cijeli grad, a koji su se gradili paralelno s cijelim gradom. Gradnja je započela 1242. godine, a trajala je pune 24 godine – sve do 1266. godine kada je cijeli zagrebački Gornji grad bio okružen jakim zidovima, tornjevima i kulama. Kako bi se olakšalo funkcioniranje grada, kroz vrijeme je izgrađeno i 6 vrata – 3 većih i 3 manjih vrata.
Kod svakih vrata dizala se po jedna jaka četverokutna kula za gradsku stražu, a u samom zidu, kao i oko čitavog grada, bilo ih je i više. Pred svim vratima, na vanjskoj strani na određenoj udaljenosti od zida, stajala je još jedna manja drvena kula, zvana habernik po turskoj riječi haber (u prijevodu, obavijestiti, izvijestiti). U habernicima su bili stražari čija je dužnost bila da gradske stražare obavijeste o kretanjima neprijateljima i potencijalnoj opasnosti (to su činili trubom, zvoncem, a kasnije i pucnjem iz puške).
S vanjske strane Gradeca, gdje je to dopuštao teren, nalazili su se opkopi, pa red većim vratima, iskopane su i duboke, pleterom i stupovima učvršene, jame. Sve u svrhu otežavanja pristupa neprijateljima. Preko jama su se nalazili mostovi koji su se, uz pomoć jakih lanaca, mogli podignuti.
Dok, s unutarnje strane grada, uz zid, bila je podignuta drvena (natkrivena) galerija na kojoj su se mogli kretati stražari. Tu su se nalazile i različite ratne sprave, kasnije puške i topovi. Na zidu su bili izbušene male rupe/prozori kako bi, u svrhu obrane od neprijatelja, vojnici mogli gađati strijelama, a kasnije (od sredine 15. stoljeća) i puškama te topovskim kuglama.
U kulama je čitavo vrijeme bila straža, i danju i noću, a u prvom redu u onim kulama kraj gradskih vrata. Ukoliko dođe do neprijateljske opasnosti ili opsade grada, nalazili su se i na zidovima. Zidovi su bili dovoljno široki da, uz redovnu stražu, mogu se rasporediti i naoružani građani.
Radi boljeg osiguranja, kule su se podizale na manjim i većim udaljenostima od gradskih zidina. U nekadašnjem podgrađu, danas na Trgu bana Josipa Jelačića), na mjestu Stankovićeve kuće, stajala je jedna zidana kula. Pretpostavlja se da je postojao takav sustav utvrda na cijelom gradskom području. Gradska općina je 1363. godine zaključila da u svom selu Novoj Vesi (kod Trnja) podigne jednu takvu kulu te ju učvrsti nasipom.
Od srednjovjekovnih utvrda sačuvala su se, uglavnom u promijenjenom obliku, osim Popova, još četiri tornja – Vatrodojavni toranj uz Dverce (obnovljen 1857. godine), toranj uz Kamenita vrata, polukružni toranj palače Jelačić u Demetrovoj ulici, te kula uz Pongračevu palaču u Visokoj ulici.
Što se tiče gradskih bedema, sačuvani su ostaci na istočnoj strani (iznad vrtova Duge ulice, danas Radićeve ulice). Na zapadnoj strani Gradeca, u Visokoj i Demetrovoj ulici, na ostacima bedema su sagrađene dvokatne kuće.
Od gradskih vrata sačuvana su samo Kamenita vrata, no i ona su u 17., 18., i 19. stoljeću bila pregrađivana, te nisu sačuvala svoj prvobitan oblik.