Az épület helyén működő Kelcz-Adelffy Árvaház elődjét 1741-ben hozták létre.

1749-ben vették át a jezsuita szerzetesek, akik szinte fél Dunántúlról befogadni képes nagy intézetté fejlesztették. Mai alakját a Hefele Menyhért vezette átépítés után, 1781-ben nyerte el. Eleinte a neveltek tanítása is itt folyt, majd a városi tanulókkal közös iskolába jártak. 1930-tól újra oktatási intézménynek adott helyet. Akkor költözött ide az 1926-ban alapított Magyar Királyi Állami Tanítóképző Intézet internátusa. Ennek az intézménynek lett jogutóda a Szombathelyi Tanítóképző. 1958-ban koedukált állami általános iskola költözött ide, amely 1961-ben vette fel Béri Balogh Ádám kuruc brigadéros nevét. Az intézmény elköltözése után 1989-től üresen áll.