A reneszánsz eredetű ún. Sgraffitós-ház nevét a homlokzatán látható különleges sgraffitó díszítésről kapta. Az olasz eredetű szó a kétrétegű vakolatdíszítésre utal, amelynek lényege, hogy a falra két vagy több, különböző színű vakolatréteget raknak, majd a felső, világosabb réteget a kívánt minta szerint eltávolítják.

A homlokzaton  a díszes motívumokon kívül  egy latin idézet is olvasható, mely egy részlet Szent Pál apostolnak a Rómabeliekhez szóló leveléből. A latin nyelvű idézet így hangzik: „Non est volentis, neque currentis sed miserentis dei” – magyarul: „Nem azé, aki akarja, se nem azé, aki fut, hanem a könyörülő Istené” (1668). Ez a mondat feltűnik az Iskola a határon című regény fejezetcímeiben is. Az író Ottlik Géza 1923 és 1926 között volt kőszegi katonai alreál iskola diákja, és az itt töltött három esztendő emlékét örökítette meg híres regényében.

Az épületet a 18-19. században udvari szárnnyal is bővítették, és barokk stílusban alakították át homlokzatát. Emeleti helyiségének mennyezetét freskó díszíti, mely a Szegény Lázár és a gazdag ember lakomája bibliai történet ábrázolja. A Sgraffitós házban 2015  óta a Felsőbbfokú tanulmányok Intézetének könyvtára működik, és nagy hangsúlyt fektet arra, hogy az intézetben és a Pannon Egyetem Kőszeg Kampuszán folyó kutatási és oktatási tevékenységet minél színesebb, aktuálisabb szakirodalommal tudja segíteni. Jelenleg a külön gyűjteményekkel együtt közel 10.000 kötetű állomány várja mind a társadalom-, mind a természettudományok iránt érdeklődő olvasókat. A könyvek többsége a angol nyelvű. 2016 őszétől a KRAFT program keretén belül az épület homlokzata és a könyvtári terek is megújultak. Nemcsak, hogy kívülről szembetűnő a változás, de az emelet beépítésével a belső terek maximális kihasználtsággal működnek. Ezen a szinten az információs és tájékoztató pult, két olvasóterem, társalgó és kutatószoba kapott helyett, míg az emeleten multimédiás terem fogadja a használókat.