A ferences rend Evangélista Szent Jánosról elnevezett kolostora 1270 körül már állt Buda városának délkeleti részén, közvetlenül a keleti városfal mellett. A kolostor jelentőségét jól mutatja, hogy 1301-ben templomában temették el az utolsó Árpád-házi királyt, III. Andrást, és hogy későbbi bővítését Nagy Lajos király anyagilag is támogatta. A kolostorban valószínűleg már a korai időszaktól hittudományi iskola is működött A 15. századi ferences reformmozgalmak következtében 1444-ben a rend szigorúbb, salvatoriánus ágához került, és a rend főkolostora lett. 1526-ban és 1529-ben török csapatok fosztották ki. Templomát Buda 1541-es török elfoglalása után dzsámivá alakították át. A dzsámi jelentősége akkor nőtt meg, amikor a 16-17. század fordulóján a tőle északra lévő területen felépült a budai pasák szerája (palotája). Ettől kezdve Pasa- vagy Szeráj-dzsáminak hívták. A templom és a tőle délre eső lakószárnyak (klauzúra vagy kolostornégyszög) a török uralom után romos állapotban maradtak fenn. A templomot és a tőle északra lévő területet röviddel a visszafoglalás után előbb a jezsuiták, majd a karmeliták kapták meg. Utóbbiak a középkori templom még álló falait visszabontották, és jórészt új, barokk templomuk alapfalaiként használták fel. A délebbre lévő egykori kolostor maradványain közvetlenül a visszafoglalás után két laktanyaépületet alakítottak ki, majd ezek helyén, a 19. század elején felépült a Sándor-palota. A középkori templom alapfalait az 1970-es években a Várszínház, a kolostorszárnyakét 1994-2001 között pedig a Sándor-palota alatt tárták fel.