A Táncsics Mihály utca és a rövid Ibolya utca sarkán négyszögletes, zártudvaros palota áll, amely jelen formájában barokk eredetű, helyenként neobarokk átépítésekkel. Helyén a török kor végi helyszínrajzok alapján két középkori lakóházat feltételeztek, azonban az 1968-ban folytatott régészeti feltárások során több egymást követő és részben egyidejű épület maradványait azonosították, egyeseknél még a tatárjárás előtti eredet lehetősége is felmerült.

A török kor végén romba dőlt két késő középkori ház telkét a 18. század elején vonták össze. A helyükön emelt első barokk épület még egyszerűbb kivitelű volt. A maihoz hasonló, díszes, késő barokk formáját valamikor az után nyerte el, hogy 1774-ben Szlatiny Ferenc, budai városbíró tulajdonába került. Ezután hosszú ideig szinte változatlan formában állt fenn, bár több tulajdonosa volt. 1875-ben a gróf Pejacsevics, 1896-ban a báró Piret de Bihain, 1920-ban a báró Hatvany család szerezte meg, majd 1922-től a második világháborúig az angol követség épületéül szolgált. Az 1920-as években jelentős neobarokk átépítést végeztek rajta. (Ez az utcára néző főhomlokzatát kevésbé érintette, annál inkább a hátsó, a várfal felé nézőt.)

Az 1944-1945-ös ostrom során erősen megsérült, különösen a főhomlokzat kaputól jobbra eső része. A romos épületet az 1968-as régészeti kutatások után 1970-ben állították helyre Havassy Pál és Erdei Ferenc tervei nyomán az Országos Műemlékvédelmi Hivatal számára. Jelenleg is ennek az intézménynek a jogutóda, a Kulturális Örökségvédelmi Hivatal használja.

Az egyemeletes épület tizenegy-tengelyes főhomlokzata máig megőrizte késő barokk formáját. Különösen szép a homlokzat középtengelyében elhelyezett, dúsan díszített kapuzata, mely fölött középen eredetileg domborműves kőcímer volt látható. A földszinti ablakok díszes neocopf rácsai az 1920-as évekbeli átépítés során készültek. Belső része teljesen átépült a modern hivatali céloknak megfelelően. Középudvarának alsó szintjét a helyreállítások során lefedték, és helyén zárt aulát képeztek ki, amely kiállítások rendezésére szolgál.

A palota Ibolya utcai oldalhomlokzatán Henszlmann Imre (1813-1888) portréjával díszített bronz domborműves tábla állít emléket a 19. századi műemlékvédelem nagy személyiségének.