A több épületet magában foglaló tömb mind történeti, mind építészeti szempontból összetartozó egységet alkot az 1780-as évektől. A komplexum helyén a középkorban lakóházak álltak. Közvetlenül az 1686-os ostrom után északi részén a ferencesek szereztek meg négy telket kolostorépítés céljára, a délre levő területet pedig a klarissza apácarend szemelte ki magának. II. József mindkét rendet feloszlatta, s épületeikbe az 1780-as évek közepén kormányhivatalokat költöztetett. Ettől kezdve a második világháborúig a magyarországi közigazgatás központi szervei működtek itt: a legfontosabb közülük a rendi világban a Helytartótanács, a polgári korszakban a Belügyminisztérium volt. A hivatalok igényei szerint az épületegyüttest többször átépítették, illetve bővítették. A második világháborúban megsérült épületek renoválása mintegy negyedszázadig húzódott. A helyreállítás után a Magyar Tudományos Akadémia társadalomtudományi kutatóintézeteit helyezték el bennük.