A kalocsai egyházmegye érseki székhelyén kezdetben erődített várkastély állott, majd a 18. században alakult át barokk kastéllyá. A kétemeletes, klasszicista elemeket is hordozó épületet 1775-ben Batthyány József érsek, későbbi bíboros kezdte meg, de mai kinézetét báró Patachich Ádám kalocsai érseknek, korábbi nagyváradi püspöknek köszönheti, aki 1776-ban a váradi palotájának mintájára terveztette meg „U” alaprajzú, középrizalitos főhomlokzatú érseki rezidenciáját, mely a nyugati szárny kivételével 1780-ra be is fejeződött.
A keleti szárny díszes könyvtártermében Patachich Ádám érsek közel húszezer kötetet számláló magánkönyvtára különleges könyvpéldányokkal ma látogatható.