A tér, amely a mai Táncsics Mihály utca és a Fortuna utca déli végénél helyezkedik el, és dél felé a Szentháromság térig terjed, jelenlegi, nyújtott trapéz alakú formáját csak hosszas fejlődés után, a 20. század elején érte el. A tér északkeleti részén régészeti leletmentő ásatások során előkerült építészeti maradványok arra utalnak, hogy a két mai utca középkori elődje eredetileg valamivel délebbre nyúlt, s hegyes szögben futott egymásba. Itt valószínűleg kezdettől létezett valamilyen teresedés, mely később fokozatosan tovább bővült északi és déli irányban. A források alapján úgy tűnik, e térségnek a középkorban nem volt külön neve, hanem a keleti oldalon futó Szent Miklós utcával azonosították. Korabeli formájára néhány körülötte álló, középkori eredetű épület és a török kor végi helyszínrajzok alapján következtethetünk.
Ezek szerint a két utca szögletében állt házakat még a középkor folyamán elbontották, s ezzel létrejött a tér mainak megfelelő északi záródása a Hess András tér 3. alatt. A keleti oldal maihoz hasonló formája csak a török kor végére alakult ki, de az itt állt épületek azóta teljesen megváltoztak. Ez a rész eredetileg a Táncsics Mihály utca középkori elődjéhez tartozott. Itt - a mai Hess András tér 2. és az attól kissé délre eső területen, a Hilton Szálló északi tömbje és középső része alatt - épült fel a 13. század közepén a domonkosok Szent Miklós kolostora, amelyről a keleti utcát is elnevezték. A kolostor temploma előtt lehetett a két utca találkozásánál képződött teresedés. A kolostoregyüttesből a tér felől már csupán a templom 15. századi tornyának, a Szent Miklós- vagy Miklós-toronynak a maradványai láthatók. A kolostor templomától délre - a Hilton Szálló déli tömbje helyén - polgári házak sorakoztak egészen a Nagyboldogasszony-, azaz Mátyás-templomig. Ezek sorát csak két, kelet felé induló köz szakította meg. A török kor végéig álló épületek maradványainak egy részét sikerült a szálloda építése előtt ásatásokkal feltárni.
A középkori tér nyugati oldalának északi részén állt házak átalakítva ugyan, de máig fennmaradtak a mai Hess András tér 4. sz. épületbe foglalva. A délnyugati rész épületeit teljesen lebontották, így ásatások híján formájukra és az egykori tér itteni alakjára csak a török kor végi helyszínrajzokból következtethetünk. Ezek szerint a nyújtott, szabálytalan alaprajzú tér délnyugati sarkából eredetileg egy kis köz vezetett át a mai Országház utca irányába. A térség déli, utcaszerű folytatását a középkorban olykor Ötvös utcának is nevezték.
A török korban a tér formája alapvetően nem változott meg. Újdonságot valószínűleg csak egy, a helyszínrajzokon a tér délnyugati részére jelölt hosszú, téglalap alaprajzú épület jelentett, amely alighanem kereskedő csarnok lehetett, s az itt működő piaccal állhatott kapcsolatban. A kutatás ide helyezi a forrásokban szereplő "Hüszrev pasa csarsu"-t, azaz Hüszrev pasa piacát, amely nevét a vélhetőleg a Szent Miklós-kolostor templomában működő Hüszrev pasa dzsámiról nyerte. A kolostor épületét azonban fegyvertárként, sőt istállóként is használták. A tér környékén esett el 1686-ban az utolsó budai pasa, Abdurrahman.
A barokk kor döntő változást hozott úgy a helyszínrajz, mint az épületek és funkciók tekintetében. A tér első önálló elnevezését csak 1696-ból ismerjük, s ekkor mint "Vierekhetes Pläzel bey dem grüner baum", azaz "négyszögletes terecske a zöld fánál" emlegették. A déli oldalán bekövetkezett változás azzal állt kapcsolatban, hogy a Nagyboldogasszony- (Mátyás-) templomot 1687-ben a jezsuita rendnek adományozták. Emellett a rend megkapta a templom északi és déli oldalán lévő két területet, valamint még egy, az előbbivel szemben elhelyezkedő harmadikat. Ennek nyomán - miután az ottani középkori házakat lebontották - lehetővé vált a Mátyás-templom és a volt domonkos kolostor közötti területrész faltól-falig történő beépítése, beleértve a kolostor egykori templomát is. Itt emelték 1688-1702 között a Jezsuita Kollégium hatalmas épületét, amely többször átépítve ugyan, de ma is áll a Hilton Szálló déli tömbjeként. A jezsuiták ezt csak 1773-ig, rendjük feloszlatásáig használták. Eredetileg ebben az épületben működött a Jezsuita Akadémia is, de kiszorulván innen külön, új épületet kapott az utca túloldalán.
Az 1747-ben elkészült új, nyújtott téglalap alakú épület oldalhomlokzata az utca, hátsó homlokzata a kis tér felé esett, míg a főhomlokzata a Szentháromság térre nézett. Ez az épület több mint másfél évszázadig meghatározó eleme volt a környék helyrajzának, amely elválasztotta a Hess András tér elődjét a Szentháromság tértől.
A "terecske" északkeleti részén, a domonkosok kolostora helyén (annak maradványait nagyrészt elbontva) nem sokkal a visszafoglalás után katonai pékséget és élelmiszer-raktárat (1696-ban "das Kayserliches Proviant Haus"-ként említve) építettek, melyek 1784-ig működtek itt. Az épületüket ekkor iskola céljára alakították át, 1902-től 1936-ig leánylíceum volt. A tér túloldalán lévő három középkori ház romjain, a maradványokat részben felhasználva új barokk épületet emeltek (ma: Hess András tér 4.), melyet előbb építési anyagraktárnak, majd katonai kórháznak használtak, s végül 1784-ben a Budára költözött nagyszombati egyetem kapta meg. A tér környékén álló intézmények hatására megváltozott az elnevezése: előbb Kollégium, majd Iskolalaház, Tanoda, illetve Iskola térként említették.
A tér északi oldalán - ugyancsak középkori házak helyén - polgári tulajdonú, de részben közcélú épület állt (ma: Hess András tér 3.), melyet már 1696-ban a "Vörös Sünhöz (zum Rothen Igel) címzett fogadó"-nak hívtak, mely funkcióját tekintve sokáig egyedüli volt a várban.
Fontos új elem, egy közkút jelent meg a tér délnyugati részén, mikor 1776-1777-ben a Szentháromság térről ide is elvezették a Várnegyedet ellátó vízvezetéket. A tér barokk kori szerkezete sokáig nem változott, legfeljebb egyes épületeinek arculata, illetve rendeletetése alakult át kisebb-nagyobb mértékben.
Többszörös változáson ment át például a Jezsuita Kollégium épülete (Hess András tér 1.). A rend feloszlatása után egyetemes papnevelde (seminarium generale) céljára alakították át, de ez az intézmény is csak 1783-ig maradt falai között. 1784-ben a Királyi Kamara kapta meg. Ekkor ismét átalakították, ezúttal copf stílusban, mely külső arculatát máig meghatározza. 1849 után a Császári és Királyi Pénzügyigazgatóság, majd 1867 után a Pénzügyminisztérium költözött falai közé, egészen 1945-ig ehhez az intézményhez tartozott. 1885-ben, a Mátyás-templom felújításakor ismét átépítették: a templomhoz csatlakozó szárnyát lebontották, majd kissé északabbra új szárnyat emeltek.
A vele szemben lévő Akadémia épületét előbb az egyetem, majd 1786-tól a Helytartótanács használta. Ekkor copf stílusban építették át, a 19. század elején pedig nyugati oldalához klasszicista bővítményt emeltek. 1867-1901 között a Pénzügyminisztériumhoz tartozott, ezután a hozzákapcsolódó és környező háztömbbel együtt lebontották. Részben helyére épült fel a minisztérium új, több utcára kiterjedő neogótikus tömbje. A homlokzata (ma: Hess András tér 5.) a korábbinál nyugatabbra került, így a tér déli része - melyet 1879-től 1936-ig mint Pázmány utcát tartottak nyilván - szélesebb lett. Ezzel gyakorlatilag kialakult a mainak megfelelő helyrajzi állapot.
Kisebb változás történt a tér északnyugati részén, a mai Hess András tér 4. alatt. Ebben az épületben 1777-től 1926-ig az Egyetemi Nyomda működött. Szerencsésen elkerülte a Pénzügyminisztérium kialakítását megelőző bontási hullámot, s az új együttes mintegy közrefogta a régi tömböt.
1923-tól e téren állították fel az ún. Hébe kutat, amit 1936-ban, Buda törökök alóli felszabadulása 250. évfordulóján máshová helyezték át, és helyére XI. Ince pápa szobrát állították fel. Ekkor megszüntették a déli rész önálló elnevezését, és egyben a XI. Ince pápa tér nevet kapta, melyet 1954-ig viselt, amikor Buda első középkori nyomdászáról Hess András térnek nevezték el. Egyes történeti adatok alapján feltehető, hogy Hess nyomdája egykor a tér nyugati oldalán, a Hess András tér 4. számú épülettömb egyik középkori épületében működött.
A második világháborús ostrom során különösen a keleti oldalon, az 1-2. sz. alatti épületek sérültek meg; a 2. sz. alatti iskolát le kellett bontani. A romos területen az 1960-as években átfogó régészeti ásatások kezdődtek, melyek során sikerült feltárni a középkori domonkos kolostort és az attól délre állott házak maradványait. Ezután itt épült fel 1976 végére a Hilton Hotel modern együttese, amelynek kialakításakor figyelembe vették a középkori és újkori maradványokat. A műemléki helyreállítás tervezője Sedlmayr János volt.