Gellért-bakken cave er en del af et netværk af huler i Gellert-bakken. Hulen hedder "cave of St. John" ved navn af en eneboer, som boede der, og menes at have brugt den naturlige varme vand i søen ved siden af hulen, for at helbrede de syge. Det er sandsynligt, at disse er de samme farvande, som er omfattet af gellért termalbad swimmingpools.

I det 19 århundrede hulen var et krisecenter for den fattige familie, der, i den udstrækning, det kunne have konstrueret den naturlige boliger. Hulens indgang var lukket. En illustration af denne periode af historien kan ses på billedet Mihai Myra, dateret 1860-erne og fotos af györgy Klesha 1877.

I 1920'erne, en gruppe af munke, inspireret under en pilgrimsrejse sten strukturer af Lourdes i Frankrig, arrangeret hulen på egen hånd og redid indgang. Fra 1926, indtil 1951, cave, der serveres som et kapel og endda et kloster. Under Anden verdenskrig husede et felthospital af den tyske hær. I 1945 til den Røde hær befriede Budapest. For seks år hulen har fortsat med at udføre religiøse funktioner, men i 1951 som en del af en styrkelse af undertrykkelse, der er rettet mod den Katolske Kirke, den offentlige sikkerhed organer, der udføres søgninger i kapellet. Hulen var muret op, den ældste broder af Ferenc Weser dømt til døden, munkene til fængselsstraffe på op til ti år.

Kapellet blev genåbnet den 27 August 1989 – tyk mur, der dækker indgangen, blev ødelagt. I 1992, kapellet blev restaureret og sat i orden. I øjeblikket i en hule, de tjenester, der er afholdt, på trods af det faktum, at det er en turist attraktion.