Nakon burnog perioda 16. stoljeća koje je u Zagrebu i Hrvatskoj obilježen Stogodišnjim hrvatsko-turskim ratom, u 17. se stoljeću pojavljuje nešto drugačije lice Zagreba. Pojavom novih gospodarskih prilika, na Kaptolu i Gradecu se počinje naveliko graditi, ali se i obnavljaju stare građevine.
Osim izgradnje zidanih kuća, plemićkih i građanskih, te obnove nekih građevina, a red su došle i gradske utvrde na čijim su temeljima, na nekim mjestima, građeni drugi objekti. Tako su na dijelu gradskih utvrda građeni samostani kapucina, isusovaca i opatica klarisa. Obrambeni zid tadašnjeg Gradeca bio je karakterističan element tadašnjeg Zagreba i njegovog izgleda.
Zidovi su odolijevali zubu vremena – trpili su znatna oštećenja, dio se urušavao, a uz gradska vrata morao je i on biti spreman za obranu u slučaju potencijalnog napada neprijatelja, pogotovo uzevši u obzir da su Turci tada bili na svega 50-ak kilometara od Zagreba.
Osim što je služio za obranu grada, dio utvrda i kula na Gradecu se iznajmljivao, te je gradečkoj općini bio dobar izvor prihoda. Tako je 1646. godine kula kraj Kamenitih vrata došla u vlasništvo baruna Konjski, a krajem stoljeća općina ju je iznajmila blagajniku zagrebačke tridesetnice za cijenu od dvije i pol forinte godišnje.
Unatoč iznajmljivanju i privatnim vlasništvima kula, općina si je dala za pravo da ih može koristiti za obranu u slučaju od opasnosti. Općina se na nekoliko godina odrekla i donjeg kata kule Dverce koju je u 16. stoljeću iznajmljivala pavlinima.