Sjeverna vrata Gradeca nalazila su se kod Popova tornja, a bila su izgrađena nešto kasnije od ostalih gradskih vrata (njih 6) zbog spornog zemljišta oko njega. Prvi se put spominju 1383. godine nazivajući se Nova, pa se pretpostavlja da su izgrađena u tom vremenu.
Gradnja tih vrata je naišla na problem jer to zemljište nije bilo u vlasništvu Gradeca. Sporni prostor, između vrata i zidina, pravno je pripadao Kaptolu (tj. kaptolskoj kuli), a građani su ga svojatali. Prema ugovoru iz 1392. godine, između gradske općine i kanonika, zemljište na desnoj strani tog prostora “po kojem se inače iz grada ide prema istim vratima treba ostati na upotrebu samih građana rečene varoši”. Pretpostavlja se da je riječ o zemljištu na kojem je sredinom 17. stoljeća izgrađen samostan klarisa, danas zgrada Muzeja grada Zagreba.
Van gradskih zidova, ali i do njih, sagrađena je istovremeno kad i zidovi još jedna kula – Popov toranj. Sagradili su je oko 1247. godine kraj sjevernih vrata zagrebački kanonici. Izgrađena je kako bi mogli sebe i svoje dragocjenosti skloniti u slučaju nekog neprijateljskog napada. U ta vremena Kaptol nije bio utvrđen, te mu je takva kula bila od velike važnosti.
Kanonici su izmolili da im kralj daruje zemljište na gornjogradskoj uzvisini i da im dopusti da na njemu podignu obrambeni toranj. Kralj im je darovao zemljište i dopustio izgradnju tornja na mjestu nekadašnjeg posjeda župana Vanlegena. Osim tornja, mogli su izgraditi i manje kuće.
Mišljenje da su kanonici 1247. godine izgradili Popov toranj temelji se na činjenici što su neki kanonici molili kralja da im dodijeli dio zemljišta na brdu Gradecu kako bi si sagradili kastrum u koji bi se mogli skloniti u slučaju neprijateljske opasnosti. No, ne postoji čvrsti dokaz tomu.
Postoji mišljenje Kaptol, kao ni pojedini kanonici, na tom području nisu ništa sagradili. Prema tom mišljenju, Popov toranj je sagradio biskup Filip. Riječ pop u ono doba označavalo je glavnog svećenika, a u to vrijeme to je bio biskup. S tim se mišljenjem može dovesti u vezu i najstariije poznato ime ulice koja vodi od Popova tornja do Kamenite ulice – današnja Opatička ulica. Ta se ulica nekada, u 17. i s početkom 18. stoljeća, zvala Biskupska ulica.
No, tko god bio zaslužan za izgradnju Popovog tornja, svakako je bitno znati da Gradec nije bio najsretniji tom odlukom jer je tuđa utvrda predstavljala stalnu prijetnju za grad, te je baš to bilo stalni uzrok vječnih sporova i svađa između Gradeca i susjedne crkvene jurisdikcije.