Helyén a középkorban több lakóház, majd a késő középkorban a Werbőczy-palota helyezkedett el. A török korban, legalábbis a 16. század végétől itt volt a budai pasák palotája (szerája) is. A telekegyüttest a visszafoglalás után előbb a jezsuiták, majd a karmeliták szerezték meg, és 1734-re itt építették fel kolostorukat. A rend 1784-es feloszlatása után az épületben lakásokat alakítottak ki, kaszinó, végül katonai parancsnokság költözött. Ez utóbbi funkcióját - különböző formában - egészen 1945-ig megtartotta. A világháborús ostrom során súlyos sérüléseket szenvedett. Helyreállítása (1976-1977) után különféle intézmények elhelyezésére szolgált.

Téglalap alaprajzú, zárt belső udvaros épület, északi sarkán kiugró épületrésszel, az egykori refektóriummal. Az utca felé eredetileg csak egy folyosót magába foglaló szárnya volt. A karmelita rend feloszlatása után az eredetileg barokk épületet copf, a 19. században pedig klasszicista stílusban építtették át. Ekkor bővítették az utcai részt is kétemeletesre és új kapuzatot alakítottak ki. A klasszicista főhomlokzat tizenkilenctengelyes, öv- és könyöklőpárkányokkal tagolt, felül háromtagú főpárkánnyal; két szélét egy-egy háromtengelyes, a homlokzati vonalból ferdén előreálló rizalit zárja. A két dór oszlop közé fogott, egyenes záradékú kapuja a középtengelyben helyezkedik el. A várfal felé néző keleti homlokzata kétemeletes, tizenöt- és négytengelyes, megőrizte barokk vonásait, nyíláskereteit. Hasonlóan barokk ízlésű az épület északi homlokzata is. Nagyméretű belső udvara jelenleg különböző kulturális rendezvényeknek ad otthont.