U prvoj polovici 15. stoljeća, za vrijeme brojnih neprilika koje je Gradec imao zbog sukoba sa susjednim Kaptolom, događa se nova nevolja za naselje na gradečkoj uzvisini. Gradec je, naime, u dva navrata izgubio svoju autonomiju. 1433. godine, kralj Žigmund je Gradecu za ravnatelja postavio plemića Matka Talovca, inače ravnatelja zagrebačke biskupije, čime je direktno povrijedio samoupravu Gradeca. Nakon dugih molbi, svoju autonomiju Gradec vraća tek kad je kralj potvrdio darovnicu iz 1266. i povlastice iz 1406. godine.
No, nedugo kasnije, 1441. godine, na vlast na Gradecu stižu grofovi Celjski koji su bili vladari utvrde na južnim obroncima Medvednice – Medvedgrad.
Celjski su na vlast u Gradecu došli zahvaljujući obitelji Alben kada je Fridriku i Ulriku Celjskom 1436. godine prodala Medvedgrad. Medvedgradski vladari su bili u čestim pljačkaškim i osvajačkim pohodima na brojne posjede i sela podno Zagrebačke gore, a nerijetko su se zalijetali i do utvrđenog Gradeca. Još 1437. godine su ga bezuspješno pokušali osvojiti. U svom naumu uspjevaju 1441. godine u građanskom ratu i borbama za ugarsko-hrvatsko prijestolje, i to nakon smrti Alberta Habsburgovca.
Gradec je u to vrijeme bio na strani kralja Vladislava Jagelovića, dok su grofovi Celjski bili na čelu stranke protukandidata – Ladislava Postumusa, što je bio dovoljan razlog da Celjski svim silama istupe protiv Gradeca. Kako je to obično bivalo u povijesti sukoba Kaptola i Gradeca, Kaptol se pridružio strani koja je bila protiv Gradeca. Kaptol je čak primio grofa Ulrika, dao mu upute kako će najlakše osvojiti gradečku tvrđavu te mu za osvajanje prepustio i Popov toranj.
Prilikom juriša grofa Urlika, Gradec je pretrpio veliku štetu, no još je veći udarac za Gradec bio to što je u potpunosti izgubio svoju nezavisnost.
Ulrik je 1445. godine postao hrvatskim banom, te tada gradska uprava u potpunosti dolazi pod njegovu vlast. Ulrik prema svom odabiru raspuštao i birao gradsku upravu, te je gradska općina pod njegovim pritiskom gradskim kapetanom imenovala Sebolda Mayerweisera, inače Ulrikovog čovjeka.