Na sjevernoj strani Gornjega grada nalazi se kula koja je dugo bila vlasništvu biskupa, te je po tome dobila naziv – Popov toranj. Kula se nalazi na vrhu Opatičke ulice, a kroz povijest se mijenjala sama uloga tornja, sve je ovisilo o neprijateljskim napadima.
U 17. stoljeću u kuli se nalazila osnovna škola, u 19. stoljeću izvršena je obnova, a na početku 20. stoljeća, točnije od prosinca 1903. godine, smjestila se zvjezdarnica (na trećem katu).