A Szászi udvarház Alsáni Bálint pécsi püspök megbízásából épült az 1370-es évek második felében, a püspökséghez tartozó birtokrendszer északi területeinek gazdasági központjaként. 1439-ben keltezett oklevélben már várként (castrum) említik az épületegyüttest. A 15. század végén, Ernuszt Zsigmond püspök, II. Ulászló király kincstartója, a keleti udvarrészen álló konyha fölé egy reneszánsz épületszárnyat emeltetett, ezzel létrehozva a teljesen zárt várudvart.  1543-ban ruméliai Ahmed bejler-bej vezetésével a törökök szinte harc nélkül foglalták el a várkastélyt. Az 1660-as és 1680-as évek háborúi során dőlt romba a középkori épület. A romokat 100 évvel később Klimó György püspök bonttatta el, a legrégebbi nyugati palotaszárnyat renováltatta és plébániává alakíttatta át.

A község szívében található Szászvári Várkastély, 2016-os felújítása óta látogatható. A főépületben vár- és helytörténeti kiállítás, az északi szárny emeletén egy modern konferencia terem, alsó szintjén az udvarház és az egyház kapcsolatát bemutatató kiállítás kapott helyet. Az egykori gazdasági épületből múzeumpedagógiai foglalkoztatót alakítottak ki. Az interaktív tárlat kellemes időtöltést kínál minden korosztálynak.