A Dob-, Hársfa-, és Csengeri utca által határolt területen álló épület kivitelezését 1937-ben kezdték meg Rimanóczy Gyula tervei alapján. Rimanóczy a kor legismertebb építészei közé tartozott. Ő készítette a Pasaréti és a Bosnyák téri templomot, a Budapesti Sportcsarnokot és számtalan magán- villát és társasházat tervezett. A Pesti Postapalotának nevezett épület volt az első olyan magyarországi középület, amely szakított az addig uralkodó historizáló kifejezésmóddal, így a Bauhaus után megújuló építészeti stílus reprezentánsa lett. Az épület az új gondolkodásmód letisztult, egyszerű, geometrikus formavilágát mutatja. Homlokzatainak síkjait izgalmasan törik meg az eltérő formájú és méretű ablakok sorai és a kiugró falsíkok.
A geometrikus épület Dob- és Hársfa utcai homlokzatát Boda Gábor hasábszerű szobor alakjai díszítik, melyek a magyar századok jelentős személyiségeit illetve eseményeit jelenítik meg. Az épületet eredetileg a Budapesti Postaigazgatóság és az Erzsébet automata távbeszélőközpont számára emelték. Ezek mellett azonban még számos egyéb postai „hivatal” kapott itt helyet: így az utalványleszámítoló, a nemzetközi leszámítoló, a bélyegiroda, a Bélyegmúzeum, a postakiadói tanfolyam oktatótermei, a Postás Sport Egyesület tornacsarnoka, valamint a Budapest 7. sz. postahivatal.
Az épület egyik különlegessége, hogy már tervezésekor figyelembe vették az 1940-ben ide költöző Bélyegmúzeum igényeit, a gyűjtemény védelme érdekében az akkor legkorszerűbbnek számító automata tűzoltó- és klímaberendezéssel látták el a kiállítótermet, valamint a raktárakat. A falba süllyesztett szekrények, amelyek hőtől, fénytől és a portól is óvják a kiállított anyagot, olyan jól sikerültek, hogy a mai napig ezekben és az ezek mintájára utángyártott szekrényekben tároljuk állandó kiállításunk bélyegeit. A lépcsőházat és az előteret mustárszínű, bélyegperforációt utánzó csempék díszítik, amelyek egyedi megrendelésre készültek a Zsolnay-gyárban, ugyan úgy mint a kiállítóteremben található kerámia díszvázák vagy a látogatókat fogadó előtér falain lévő, a bélyeg előtti levelek postamesteri bélyegzőinek lenyomatait ábrázoló domborművek. A kiállítóterem falán látható Rimanóczy Gyula akvarellje, amely a belsőtér eredeti tervét ábrázolja.
Az épület többször váltott funkciót és „tulajdonost”, de a 7. sz. posta és a bélyegmúzeum még jelenleg is az eredeti helyén működik.