A késő barokk Lamberg-kastélyt Fellner Jakab tervei alapján építtette gróf Lamberg Ferenc Antal. Az épület a család nyári rezidenciájául készült. Az építkezés 1762-66 között zajlott, melyet 1763-ban földrengés szakított meg. A jelenlegi főkapu fölé eredetileg is erkélyt terveztek, végül azonban egy bádog esővédő tető készült a faragott tartókonzolokra. A ma látható álerkély az 1970-es évek elején végzett felújításkor került a homlokzatra.  Az emeleten - a jelenlegi olvasóterem - volt az egykori díszterem, vagy fogadóterem. A mai felnőtt könyvtár helyiségeit a nők, a gyermekkönyvtár termeit pedig a család férfitagjai használták. Az egykori női szalonból romantikus vas csigalépcső vezetett a gyerekszobába, ma is használjuk,  ami jelenleg médiatárként funkcionál. Az emelet a tulajdonos családjának a lakrészét képezte. Az egyik földszintes oldalszárnyban a konyha és a gazdasági helyiségek, - a homlokzatilag teljesen tükörkép - másik szárnyban a személyzet helyiségei voltak. A falképek egykori pompájára a jelenleg is látható néhány töredékből, a falkutatásokból és a restaurálás eredményiből következtethetünk. A földszinten – az egyik múzeumpedagógiai foglalkoztató szobában - egy XIX. századi romantikus kandalló található. Az épület mindkét szintjén többnyire megmaradtak a hajdani, szépen kidolgozott ajtó- és ablakkeretek. A földszinti ablakok míves vasrácsai is eredetiek. Az épületben ma a Lamberg-kastély Művelődési Központ, Könyvtár és Muzeális Kiállítóhely a város kulturális intézménye működik. Az emeleten található a Radó Antal Könyvtár. 

A kastélyban megtekinthető az időszaki kiállítások mellett a Móri Emléktár és Művészeti Kiállítás, melynek része a Sváb tájház, aBarokk szoba, a Helytörténeti kiállítás, a Wekerle Sándor kiállítás és a Dr. Zimmermann Ágoston emlékszoba. A Vasarely-szobában Victor Vasarelynek eredeti szerigráfiái tekinthetők meg.