A Dob-, Hársfa-, és Csengeri utca által határolt területen álló épület kivitelezését 1937-ben kezdték meg Rimanóczy Gyula tervei alapján, aki a kor legismertebb építészei közé tartozott. Ő készítette a Pasaréti és a Bosnyák téri templomot, a Budapesti Sportcsarnokot és számtalan magánvillát és társasházat tervezett. A Pesti Postapalotának nevezett épület volt az első olyan magyarországi középület, amely szakított az addig uralkodó historizáló kifejezésmóddal, így a Bauhaus után megújuló építészeti stílus reprezentánsa lett. Az épület az új gondolkodásmód letisztult, egyszerű, geometrikus formavilágát mutatja. Homlokzatainak síkjait izgalmasan törik meg az eltérő formájú és méretű ablakok sorai és a kiugró falsíkok.

A geometrikus épület Dob- és Hársfa utcai homlokzatát Boda Gábor hasábszerű szobor alakjai díszítik, melyek a magyar századok jelentős személyiségeit, illetve eseményeit jelenítik meg. Az épületet eredetileg a Budapesti Postaigazgatóság és az Erzsébet automata távbeszélőközpont számára emelték, ezek mellett azonban még számos egyéb postai terület is kapott itt helyet: így az utalványleszámítoló, a nemzetközi leszámítoló, a bélyegiroda, a Bélyegmúzeum, a postakiadói tanfolyam oktatótermei, a Postás Sport Egyesület tornacsarnoka, valamint a Budapest 7. sz. postahivatal.

Az épület egyik különlegessége, hogy már tervezésekor figyelembe vették az 1940-ben ideköltöző Bélyegmúzeum igényeit, a gyűjtemény védelme érdekében az akkor legkorszerűbbnek számító automata tűzoltó- és klímaberendezéssel látták el a kiállítótermet, valamint a raktárakat. A falba süllyesztett szekrények, amelyek hőtől, fénytől és a portól is óvják a kiállított anyagot, olyan jól sikerültek, hogy a mai napig ezekben és az ezek mintájára utángyártott szekrényekben tároljuk állandó kiállításunk bélyegeit. A lépcsőházat és az előteret mustárszínű, bélyegperforációt utánzó csempék díszítik, amelyek egyedi megrendelésre készültek a Zsolnay-gyárban, ugyanúgy, mint a kiállítóteremben található kerámia díszvázák vagy a látogatókat fogadó előtér falain lévő, a bélyeg előtti levelek postamesteri bélyegzőinek lenyomatait ábrázoló domborművek. A kiállítóterem falán látható Rimanóczy Gyula akvarellje, amely a belsőtér eredeti tervét ábrázolja.

Az épület többször váltott fenntartót és funkciót, de a Budapest 7. sz. posta és a Bélyegmúzeum még jelenleg is az eredeti helyén működik.