Popov toranj, smješten na Ilirskom trgu, stara je gornjogradska utvrda podignuta u 13. stoljeću. Nakon provale Tatara, pojavio se strah da bi se tako nešto moglo ponoviti, zbog čega se pojavila potreba za utvrdom na tom mjestu.
Ime je dobila po tome što je bila vlasništvo zagrebačkog biskupa, a primarni cilj joj je bio zaštita sjevernih gradskih vrata.
Uloga tornja se mijenjala, a na to je dosta utjecala opasnost od neprijateljskih napada na grad. U 17. stoljeću u kuli se nalazila osnovna škola Augusta Šenoe, koja je tamo bila sve do 80.-ih godina prošlog stoljeća. Drugi kat je dograđen u prvoj polovici 19. stoljeća.
U prosincu 1903. godine na vrh se tornja smjestila zvjezdarnica.