A Dob, Hársfa és Csengeri utca által határolt területen álló épület kivitelezését 1937-ben kezdték meg Rimanóczy Gyula tervei alapján, aki a kor legismertebb építészei közé tartozott. Ő tervezte a Pasaréti és a Bosnyák téri templomot, a Budapesti Sportcsarnokot, valamint számtalan magánvillát és társasházat. A pesti Postapalotának nevezett épület volt az első olyan magyarországi középület, amely szakított az addig uralkodó historizáló kifejezésmóddal, így a Bauhaus után megújuló építészeti stílus reprezentánsa lett. Az épület az új gondolkodásmód letisztult, egyszerű, geometrikus formavilágát mutatja. Homlokzatainak síkjait izgalmasan törik meg az eltérő formájú és méretű ablakok sorai és a kiugró falsíkok.

A geometrikus épület Dob és Hársfa utcai homlokzatát Boda Gábor hasábszerű szoboralakjai díszítik, amelyek a magyar századok jelentős személyiségeit, illetve eseményeit jelenítik meg. Az épületet eredetileg a Budapesti Postaigazgatóság és az Erzsébet Automata Távbeszélőközpont számára emelték, ezek mellett azonban még számos egyéb postai terület is helyet kapott itt: így az utalványleszámítoló, a nemzetközi leszámítoló, a bélyegiroda, a Bélyegmúzeum, a postakiadói tanfolyam oktatótermei, a Postás Sport Egyesület tornacsarnoka, valamint Budapest 7. számú postahivatala.

Az épület egyik különlegessége, hogy már tervezésekor figyelembe vették az 1940-ben ide költöző Bélyegmúzeum igényeit, a gyűjtemény védelme érdekében az akkor legkorszerűbbnek számító automata tűzoltó- és klímaberendezéssel látták el a kiállítótermet, valamint a raktárakat. A falba süllyesztett szekrények, amelyek hőtől, fénytől és a portól is óvják a kiállított anyagot, olyan jól sikerültek, hogy a mai napig ezekben és az ezek mintájára utángyártott szekrényekben tároljuk állandó kiállításunk bélyegeit. A lépcsőházat és az előteret mustárszínű, bélyegperforációt utánzó csempék díszítik, amelyek egyedi megrendelésre készültek a Zsolnay gyárban, ugyanúgy, mint a kiállítóteremben található kerámia díszvázák vagy a látogatókat fogadó előtér falain lévő, a bélyeg előtti levelek postamesteri bélyegzőinek lenyomatait ábrázoló domborművek. A kiállítóterem falán látható Rimanóczy Gyula akvarellje, amely a belső tér eredeti tervét ábrázolja.

Az épület többször váltott fenntartót és funkciót, de a Budapest 7. számú posta és a Bélyegmúzeum jelenleg is az eredeti helyén működik.