Sümeget és környékét a XI. század elejétől királyi adományként a veszprémi püspökség birtokolta, így ez meghatározta fejlődését és jelentőségét. A török megszállás idején vált igazán jelentős és fontos várossá: amikor Fehérvár és Veszprém is elesett, a sümegi vár lett a Dunántúl egyik legfőbb bástyája. 

A ma látható palota fokozatosan, évtizedek alatt épült ki. A kiállításon láthatjuk a legrégebbi szárny fennmaradt eredeti tégláit, az akkori építkezést valószínűleg Széchényi György püspök (1605-1695) kezdte el. A XVII. század végén bővítették ki U alakúra az épületet, de végleges, zártudvaros formáját csak Padányi püspökké szentelése (1745) után néhány évvel nyerte el, amikor hozzáfogott a székhelyhez méltó, grandiózus elképzelése valóra váltásához.

A palota homlokzatát, belső udvarát és az épületegyüttes egészét a szimmetria és a harmónia jellemzi, belső tereit pedig a barokk és a rokokó díszes, néhol túlburjánzó, de látványos elemei díszítik. A XIX. század közepén egy jelentősebb átalakítás során klasszicista elemeket kapott az épület: a zárterkélyek toronysisakjait és az eredeti fazsindelytetőt elbontották, a belső terek falképeit átfestették, még a kályhákat is lecserélték. Korabeli feljegyzésekből tudjuk, hogy 1834-ben még az itteni díszteremben tartották a megyebált, utána az egykor pompás freskókkal, márványstukkókkal, rokokó kályhákkal díszített termet három részre osztották fel.

Az épület XX. századi története során sűrűn váltakozó lakók (működött falai között erdészeti hivatal, majd a Keresztes Nővérek leányiskolája, de volt hadikórház is), majd az 1947-es államosítás után 1951 és 1988 között iskola és diákotthon működött a kastély falai közt.

Miután 2001-ben a Műemlékek Állami Gondnoksága vette át az épület vagyonkezelői feladatait, a legszükségesebb felújításokat elvégezték. A 2000-es években a tető, majd a teljes homlokzat is megújult.

2018 és 2021 között a Nemzeti Kastélyprogram és Nemzeti Várprogram keretében, a NÖF Nemzeti Örökségvédelmi Fejlesztési Nonprofit Kft. beruházásában megtörtént a palota komplex műemléki felújítása és turisztikai vonzerővé fejlesztése.