A bajnai birtokot 1696-ban vásárolta meg Sándor Menyhért, aki Esztergom vármegye alispánja volt. A földesúr 1720 táján kastélyt építtetett a birtokra. Sándor Móric édesapja halálakor örökölte meg az uradalmat. Az átépítés és a bővítés terveit Hild József építész készítette el, aki egy klasszicista stílusú, főszárnyán téglalap alaprajzú, egyemeletes, mellékszárnyain földszintes épületet tervezett. Az épület bejárati részét úgy emelte ki, hogy a homlokzaton görög mintára négy oszlopos portikuszt tervezett. A kastély földszintjén ebédlőterem, biliárdterem, dohányzó, kártyaszoba, télikert és házikápolna volt, az emeleten pedig a grófi és grófnői lakosztályok sorakoztak. Ugyancsak az emeleten kapott helyet a gróf fegyver- és képgyűjteménye, a könyvtár és a vadásztrófeák. 

A klasszicista átépítéssel egyidőben a kastély belső díszítése is megújult. Ennek alkotója Alessandro Sanquirico, a milánói Scala díszlettervezője volt, akivel Sándor Móric 1833-as itáliai útján találkozott. Sanquirico munkásságát elsősorban a két emeleti nagyterem dekorációjában lehet tetten érni. A Raffaello-terem mennyezetéhez Raffaello vatikáni loggiájának groteszkjei, illetve a római Titus-fürdők festészete szolgáltak ihletőül, az etruszk terem díszítéséhez pedig etruszk vázák mintáit vette alapul. A terem mennyezetének stukkódíszét Mario Piazza stukkátor készítette. A bútorok színezése és mérete a díszítőfestéshez alkalmazkodott, egy részüket Sanquirico tervezte, más részüket Sándor gróf Angliából hozatta, bútorvásárlásaiban szintén Sanquirico segítette. A kovácsoltvas elemeket bécsi mesterek készítették. Az egykori vadászparkból angolpark lett, benne kazánfűtéses, egzotikus növényekkel teleültetett pálmaházzal. A gróf világhírű lovai fűthető uradalmi istállóban pihentek.