Több, korábbi épület (Bécsi kapu tér 2-3-4., Nándor utca 1.) helyén emelt, "E" alaprajzú, neoromán stílusú épület. Középső szárnya öt-, oldalszárnyai hatszintesek.

Az 1785 óta a budai várban, az Országházban (Országház utca 28.) elhelyezett levéltár csak 1923-ban költözött Bécsi kapu téri otthonába. Az épület tervezésére 1911-ben Pecz Samu műegyetemi tanár kapott megbízást. A kivitelezés már 1913 őszén elindult, a munka azonban a közben kitört első világháború, majd a forradalmak következtében hosszan elhúzódott, maga az építkezés 1920-ig tartott. A belső díszítés még a beköltözés után is folytatódott. Az elkészült új épület végül is formájában ugyan tradicionális karakterű, funkcionálisan azonban modern, a kor követelményeinek messze megfelelő, minden tekintetben igényes létesítmény lett. (Mindebben döntő szerepe volt a korszak nagyformátumú kultuszminiszterének, Klebelsberg Kunónak.) Az épületben a munkaszobákat, a reprezentációs és főösszekötő tereket (díszlépcsőház) a térre néző középső szárnyban helyezték el. A kutatóterem az e mögötti rövidebb középső, a raktárak a várfal felé hátranyúló hosszabb oldalszárnyakban nyertek elhelyezést. A nyugati szárny végében még egy torony is magasodott, mely tulajdonképpen a fűtőrendszer kéményét takarta kulisszaként.

A kivitelezésében a kor jeles képző- és iparművészei is részt vettek. A kőszobrászati munkákat a külső részeken Mikula Ferenc, belül Langer Ignác végezte. A történelmi Magyarország városainak címerével díszített színes üvegablakokat Róth Miksa készítette, és ugyanő közreműködött a falak és mennyezetek ornamentális díszítésében, sőt egyes fém díszítőelemek tervezésében is. Utóbbiak kivitelezését Jungfer Gyula végezete. A történeti témájú belső faliképeket 1925-1929 között Dudits Andor festőművész készítette. Rajtuk kívül Horváth Géza, Kisfaludy Stróbl Zsigmond és Sidló Ferenc szobrászok, illetve Körösfői-Krisch Laura textilművész alkotásai is az épületet díszítik.

A levéltár az 1944-1945-ös ostrom idején igen erős sérüléseket szenvedett, elsősorban az oldalszárnyakon és a középen lévő kutatóteremnél. Egyes részeit - pl. a nyugati szárny várfal felé eső részén romba dőlt tornyot - már nem is lehetett újjáépíteni. A még teljesen helyre sem állított épületet 1956 novemberében újabb pusztítás érte, elsősorban a nyugati szárnyon. Mindkét alkalommal a gyűjteményi anyag is komolyan sérült. Az építészeti helyreállítás 1961-ben fejeződött be, de az eredetinek megfelelő díszcserép fedél csak az 1980-as években került rá.