A hajdani kettős városfalat is magába foglaló épület története az 1530-ig nyúlik vissza.  A Chernel- vagy Festetics-palota helyén az 1700-as évek elején még 2 kisebb ház állt, melyeket a Nádasdy család birtokolt. Ezeket Kelcz József, a Dunántúli Kerületi Tábla ügyvédje, később királyi kancelláriai tanácsosa egyesítette 1766 után. A XIX. század közepéig több lépcsőben lakószárnyakkal bővítették az így városi palotává váló épületet.

Gróf Festetics Imre – az örökléstan, vagyis a genetika alapvető törvényeinek egyik első felfedezője – 1802-ben vásárolta meg. Ezután várfalak között kőpillérekre támaszkodó boltozott istállóval, majd a század második felében a hozzá csatlakozó kocsiszínnel bővítették az épületet. Az utcai szárny és az udvar árkádos homlokzata megőrizte a barokk stílusképét.

A ház később házasság révén került a Chernel család tulajdonába. Chernel Kálmán, ügyvéd, történetíró fia, az ornitológus Chernel István, a Magyar Ornitológiai Központ vezetője volt. Az államosítást követően ügyeltek arra, hogy az épület, a homlokzat megőrizze barokk küllemét, de a belső terekben tanácsi szükséglakásokat alakítottak ki. 

2018-ban a felújítás során a kortárs műemléki szempontokat figyelembe véve a régi épület értékeinek megőrzése és bemutatása valósult meg. Ennek keretében restaurálták a szalonokban talált különlegesen értékes barokk-rokokó falfestéseket, amelyek az épület 1766-1767. évi barokk palotává történő kiépítését követően készültek. A lépcsőház falán megtekinthető az egyik tulajdonos Chernel Márta 52. születésnapja alkalmából 1944-ben készített majolika Madonna-dombormű.

Az épület a Felsőbbfokú Tanulmányok Intézetének kutatóközpontjaként működik, amelyben a Hankiss Archívum mellett helyet kap egy modern könyvtár, több kutatószoba és a jövőben a Kérdések Háza interaktív múzeum is itt fog működni.