A török háborúk Veszprém püspökeit is kiűzték székvárosukból, ahonnan a jobban védhető, mindvégig magyar kézen maradó Sümeg várába tették át a székhelyüket. A meredek hegyoldallal védett vár ostromával nagyobb török sereg soha meg sem próbálkozott, így a püspökség viszonylagos békességben vészelte át itt a török időket. Ott is maradtak egészen a 1762-ig, amikor Koller Ignác visszatelepült Veszprémbe, s Fellner Jakabbal felépíttette az új püspöki palotát.
Az egyházmegye újraszervezése ugyan a török kiűzése után megkezdődött, s ennek részeként Acsády Ádám püspöknek egy pápai bulla előírta püspöki rezidencia építését is, abba azonban sem ő, sem utóda, Padányi Biró Márton nem költözött be. Helyette az utóbbi Sümegen, kedves városában bővíttette komoly palotává a vár tövében álló szerény kúriát. Eredetileg a Rákóczi szabadságharc után az osztrákok által bosszúból és a rebellis magyarokkal szembeni elővigyázatosságból lerombolt várat állíttatta volna helyre, erre azonban Mária Terézia nem adott neki engedélyt.
A barokk kor jellegzetes alakjaként a püspök megadta a módját, 1753-as szentszéki jelentésében így írt a sümegi kastélyról: „Magyarországon olyan,
eddig nem látott szépségű kastélyt és eleganciájú püspöki rezidenciát építettem, amelynek mindenki csodájára jár.”
A kápolnát és az emeleten csaknem minden termet freskók díszítettek, a díszteremben hatalmas, aranyozott, festett, a hazai emlékanyagban egyedülálló szépségű rokokó kályha állt. A könyvtár diófából készült könyvszekrényei ma az Iparművészeti Múzeum birtokában vannak, a múzeum honlapján megtekinthetők.
Padányi Biró Márton pártfogolta az építészeket, festőket, muzsikusokat, írókat is, mindamellett lelkipásztori feladatait sem hanyagolta el. Tizenhét éves püspöki szolgálata alatt negyvennyolc új plébániát hozott létre, harminckilencet helyreállított, nyolcvannyolc új templomot építtetett, százkilencet felújíttatott, s harcos egyéniség lévén, negyvenhármat visszafoglalt a protestánsoktól, valamint huszonnyolc új iskolát is létesített. Már székfoglalása évében újraindította a papképzést, s püspöksége idején százhuszonkilenc papot szentelt egyházmegyéje számára.
Márton püspök az ellenreformáció emblematikus alakja, akinek a török pusztítása és a reformáció terjedése után egyházmegyéjét az alapoktól kellett újjáépítenie. Határozottsága sokakat tett ellenségévé, de ők is elismerték karizmatikus személyiségét, szónoki képességeit. A protestánsokkal szembeni határozott fellépése, főként Enchiridion című hitvitázó irata azonban diplomáciai bonyodalmakhoz vezetett, s a poroszokra való tekintettel Mária Terézia a könyvet végül be is tiltatta.
a katolikus egyház kifejezetten súlyt helyezett, épített a vizuális élmények által keltett lelki hatásokra.
Maulbertsch ifjú korszakának kiemelkedő, nemzetközi szinten is jelentős alkotásai a sümegi falképek. A megváltás történetét elmesélő, ó- és újszövetségi témájú képek összefüggő láncolatából álló kompozíció minden bizonnyal a püspök elképzelésén alapul, s az akkor éppen krisztusi korban lévő Maulbertsch ihletett kivitelezése olyan tökéletesre sikerült, hogy ehhez hasonlóan színpompás, gazdag tartalmú freskót később már ő maga sem festett.
A sümegi várhegy lábánál álló, ismét régi szépségében tündöklő barokk püspöki palota november 2-tól látogatóközpontként helyreállítva várja a látogatókat. A Nemzeti Kastélyprogram és Nemzeti Várprogram keretében megvalósuló turisztikai fejlesztés célja a palota belső műemléki értékeinek bemutatása azok restaurálásával, valamint egy interaktív kiállítás kiépítésével. Az épületben nyíló, Nagy Veronika és Gaylhoffer-Kovács Gábor kurátorok által rendezett Mennyei ügyek című kiállítás Padányi Biró Márton püspök dicsőséggel, művészettel, hitvitákkal és bukással tarkított életén végigutazva ad átfogó képet a magyar barokk korszakáról. A tárlat középpontjában a sümegi plébániatemplom Maulbertsch freskóműve, valamint a palota részlegesen fennmaradt falképei állnak. A palotában a püspök és a festő megszemélyesítése olykor meghökkentő kortárs szemléletű módszerekkel történik.
A kiállítás magát az épületet is bemutatja. Érzékelhetővé válik a palota napi működése, beléphetünk például a barokk konyhába is. A Padányi arcképét is rejtő, a tudományokat megjelenítő, gazdagon dekorált könyvtárszoba is igazi kuriózumnak számít. A kiállított tárgyak többsége a veszprémi Boldog Gizella Főegyházmegyei Gyűjteményből származik. Számos animációs filmmel és beltéri vetítéssel ismerhető meg a korabeli jellegzetes karaktereken keresztül a barokk világa.
