Az utca északi oldalának nagy részét elfoglaló egyemeletes barokk palotát több középkori eredetű lakóház összevonásából építették ki a 18. század közepén. Horányi Gábor, Pest-Pilis-Solt megye alispánja, királyi tanácsos szerezte meg a három egymással szomszédos ingatlant, amelyeket egyesítve, egységes homlokzati kiképzéssel látott el. Az épület 1805-ben Almásy Antal helytartótanácsi tanácsos tulajdonába került, aki még egy szomszédos házat megvásárolva bővítette azt. A ma látható helyreállított homlokzat a Horányi család idején készült, majd az Almásyak által kibővített és átalakított épületet idézi. 1868-ban a Zichy család szerezte meg a palotát és használta egészen az 1944-1945-ös ostromig, kivéve a Babits köz sarkán álló részt, amelyet 1909-ben újból leválasztottak az épületről.

A palota a város későközépkori zsidó negyedének központi része fölött emelkedik. Udvarán 1964-1965-ben Zolnay László egy kéthajós, gótikus zsinagóga jó állapotban lévő maradványait tárta fel. A zsinagóga részben befedve, részben visszatemetve ma a föld alatt várja, hogy újjászülethessék.