A középkorban Veszprémben nem volt még börtön, a rabokat a várhegy üregeiben őrizték. 1754–1763 között épült fel Veszprém vármegye új székháza (Vár u. 19.), amelyben helyet kapott a törvényszék és a tömlöc is. Az emeletes új épület azonban túl szűknek bizonyult, a megyei főorvos pedig már 1777-ben figyelmeztetett az ott uralkodó tarthatatlan állapotokra. A rabok közül három év alatt 27 férfi és 5 nő halt meg, közülük 21 még az ítéletét várta. 1793-ban a börtönt kibővítették, de a zsúfoltságot csak átmenetileg oldotta meg.  

Az 1810-es földrengés komoly károkat okozott a vár épületeiben, azok átépítése elkerülhetetlenné vált. A vármegyeháza – és vele a fogház – megépítésére a megye közgyűlése 1846-ban hozott határozatot. Az építkezés egy év múlva kezdődött meg, és 1853-ban átadták az ötszintes épületegyüttest, amelynek két szintje a várudvar felett, három az udvar alatt helyezkedett el.  

1886–1887-ben az együttest a Törvényszék vette használatba, hamarosan azonban már ez is szűknek bizonyult. A börtönnek önálló utcai bejárata sohasem volt, járművekkel és gyalogosan is a közös nagykapun át lehetett megközelíteni.

A házon megépítése óta – kisebb átalakítások kivételével – nem történt szerkezeti változtatás, 2003-ig az ország egyetlen működő várbörtöne volt.