A Szászi udvarház Alsáni Bálint pécsi püspök megbízásából épült az 1370-es évek második felében, a püspökséghez tartozó birtokrendszer északi területeinek gazdasági központjaként. Az 1439-ben keltezett oklevélben már várként (castrum) említik az épületegyüttest. A 15. század végén Ernuszt Zsigmond püspök, II. Ulászló király kincstartója a keleti udvarrészen álló konyha fölé egy reneszánsz épületszárnyat emeltetett, ezzel létrehozva a teljesen zárt várudvart. 1543-ban ruméliai Ahmed bejler-bej vezetésével a törökök szinte harc nélkül foglalták el a várkastélyt. Az 1660-as és 1680-as évek háborúi során dőlt romba a középkori épület. A romokat 100 évvel később Klimó György püspök bonttatta el, a legrégebbi nyugati palotaszárnyat renováltatta és plébániává alakíttatta át.

A község szívében található Szászvári Várkastély 2016-os felújítása óta látogatható. A főépületben vár- és helytörténeti kiállítás, az északi szárny emeletén egy modern konferenciaterem, alsó szintjén az udvarház és az egyház kapcsolatát bemutatató kiállítás kapott helyet. Az egykori gazdasági épületből múzeumpedagógiai foglalkoztatót alakítottak ki. Az interaktív tárlat kellemes időtöltést kínál minden korosztálynak.