A késő barokk Lamberg-kastélyt Fellner Jakab tervei alapján építtette gróf Lamberg Ferenc Antal. Az épület a család nyári rezidenciájául készült. Az építkezés 1762-66 között zajlott, melyet 1763-ban földrengés szakított meg. A jelenlegi főkapu fölé eredetileg is erkélyt terveztek, végül azonban egy bádog esővédő tető készült a faragott tartókonzolokra. A ma látható álerkély az 1970-es évek elején végzett felújításkor került a homlokzatra.  Az emeleten - a jelenlegi olvasóterem - volt az egykori díszterem, vagy fogadóterem. A mai felnőtt könyvtár helyiségeit a nők, a gyermekkönyvtár termeit pedig a család férfitagjai használták. Az egykori női szalonból romantikus vas csigalépcső vezetett a gyerekszobába, ma is használjuk,  ami jelenleg médiatárként funkcionál. Az emelet a tulajdonos családjának a lakrészét képezte. Az egyik földszintes oldalszárnyban a konyha és a gazdasági helyiségek, - a homlokzatilag teljesen tükörkép - másik szárnyban a személyzet helyiségei voltak. A falképek egykori pompájára a jelenleg is látható néhány töredékből, a falkutatásokból és a restaurálás eredményiből következtethetünk. A földszinten – az egyik múzeumpedagógiai foglalkoztató szobában - egy XIX. századi romantikus kandalló található. Az épület mindkét szintjén többnyire megmaradtak a hajdani, szépen kidolgozott ajtó- és ablakkeretek. A földszinti ablakok míves vasrácsai is eredetiek. Az épületben ma a Lamberg-kastély Művelődési Központ, Könyvtár és Muzeális Kiállítóhely a város kulturális intézménye működik. Az emeleten található a Radó Antal Könyvtár. Itt található továbbá a művelődésszervező iroda és a Móri Emléktár és Művészeti Kiállítás.

A kastélyban megtekinthető kiállítások:

Időszaki kiállítások

Állandó tárlat a Móri Emléktár és Művészeti Kiállítás, melynek része:

Sváb tájház 

Barokk szoba

Helytörténeti kiállítás 

A Vasarely-szobában Victor Vasarelynek eredeti szerigráfiái tekinthetők meg. 

Wekerle Sándor kiállítás

Dr. Zimmermann Ágoston emlékszoba