Miután a török 1552-ben elõször elfoglalja Veszprémet, a püspökség Sümegre költözik, és a püspökök rövidebb megszakításokkal 1762-ig itt székelnek. A török idõk alatt azonban még nem a településen, hanem a biztonságosabb várban laknak.

A Várhegy oldalába a védettség reményében húzódó mezõvárost 1656-58 között kerítteti körül tornyokkal erõsített fallal Széchényi György püspök, aminek köszönhetõen több utalás szerint hamarosan már püspöki lakóház is állt Sümegen. A XVII. században felhúzott épületet feltehetõleg a ferences kolostor alapítója és a vár átépítõje, Széchényi György emeltette. Ez a kb. 8x26 méteres, emeletes, egytraktusos épület lehetett a magja a mai palota nyugati szárnyának.

Újabb építkezésre a XVII-XVIII. század fordulóján kerülhetett sor. A feltételezések szerint négyszögû, zárt udvar köré épült kastély négy sarkán sarokerkély volt megtalálható. Az építkezés bizonyára ahhoz a Széchenyi Pálhoz köthetõ, aki püspökként a várban is építkezett 1693-ban. Késõbbi utódja, Padányi Biró Márton Rómába írt jelentésébõl tudjuk, hogy a kicsi és omladozó rezidencia egyharmadát még püspöksége elõtt kocsmává és üzletté alakították át.

Az 1745.III. 18-án veszprémi püspökké kinevezett Padányi Biró Márton azonnal Sümegre tette székhelyét, ami egyben a város fénykorának a kezdetét is jelentette. Ekkor alakult ki a barokk városkép az új palotával, lakó- és gazdasági épületekkel, valamint ekkor épült az új templom ,melyet Maulbertsch díszített hazánkban páratlan freskókkal. Az új püspök elsõ dolga volt, hogy a kocsmát és az üzletet kiköltöztette az épületbõl. 1745-ben kezdõdött a palota átépítése, és 1753-ra egy nagyszabású, négy tornyos, zárt udvaros, kápolnát is magába foglaló rezidencia valósult meg. Az építtetõ püspök így írt róla: " Olyan, Magyarországon még nem látott szépségû és eleganciájú rezidenciát építettem, aminek csodájára jár mindenki…". Arról, hogy ezt a csodás palotát kinek a tervei alapján húzták fel, máig nincsenek hiteles adataink. A palota építéstörténetével az ötvenes évek végén foglalkozó kutatók szerint a munkák Padányi Biró Márton elképzelései, esetleg írásba foglalt programja szerint folytak. A kõmûves munkát valószínûleg Paul Mojzes püspöki kõmûves irányíította, az egyes részletek megalkotására - fõkapu, stukkózás, kõfaragás stb. - különbözõ mesterek kaptak megbízást. Név szerint csupán az ebédlõ és a kápolna falképeinek és stukkóinak készítõi ismertek. A falképek Vogl György, a stukkók Antonio Orsatti alkotásai.

A palota építéstörténete nem zárul le a XVIII. század közepén. A nyugati rizalit átépítése történt meg legelõször, ami során 1770 körül íves, volutás homlokzatot kapott a parkra nézõ oldal. Ez idõben már ismét Veszprém volt a püspöki székhely, Sümegre nyaralni illetve vadászni jártak az egyházmegye elöljárói.

A következõ átalakítás szintén a fentebb említett rizalitot érintette. Az 1830-40-es években a ma látható klasszicista formáját nyerte a nyugati homlokzat középsõ szakasza. A palota a XIX. század második felétõl tovább egyszerûsödött azáltal, hogy a zárterkélyek toronysisakjai és az északkeleti saroktorony eltûntek. A zsindelyfedés hasonló sorsra jutott, és a belsõ terekben is történtek átalakítások.
A II. világháború után államosított épületbe iskola és diákotthon költözött.

Irodalom: Koppány Tibor - Lenner József: A sümegi volt püspöki kastély homlokzatainak helyreállítása. ( Magyar Mûemlékvédelem: 1959-60. 137-148. oldal )