Den oprindelige Jødiske Museum i Wien blev grundlagt i 1896, og var det første Museum af sin art i verden. Museet har eksisteret, med støtte fra "foreningen for indsamling og bevaring af kunstneriske og historiske monumenter i Jødedom". Han var fokuseret på den historie og kultur af Jøder i det Østrig-ungarske Kejserrige. Hans samling af objekter og produkter fra Palæstina, som også afspejles i den politiske debat om Zionismen. Museet blev lukket straks efter beslaglæggelsen af Østrig af Nazisterne. I de sidste år af sin eksistens, det havde 6474 forskellige udstillinger. I 1939, blev de flyttet til Museum of Etnologi og andre institutioner.

De fleste af de ting, der blev vendt tilbage til det Jødiske samfund i begyndelsen af 1950-erne, men nogle formået at vende tilbage først i 1990'erne. Mange af de udstillede genstande blev tabt. Når den Nye Jødiske Museum blev opgjort, viste det sig, at halvdelen af den oprindelige er forsvundet. Men de resterende ting er meget sjældne genstande, der repræsenterer, hvordan genstande fra hverdagen og unikke materialer.

31 December 1964 lille Jødiske Museum åbnet i en nyopført bygning på Mådehold, men har ikke modtaget næsten ingen opmærksomhed i offentligheden. Efter 3 år, Museet allerede havde lukket.

Den første udstilling af den nye Jødiske Museum i Wien blev åbnet den 7 Marts 1990 i midlertidige lokaler på kontorerne for det Jødiske samfund. En betydelig del af udstillingen var udarbejdet på grundlag af indsamling af max Berger. I 1992 blev Museet flyttet til sit nuværende hjem i Palais Eskeles i Dorotheergasse. Museet blev åbnet kun et år senere, i 1993. Biblioteket var åbent for offentligheden siden 1994.

Fra efteråret 2011 Museet åbnede sine døre efter en komplet renovering, som selve bygningen og opdatere den permanente udstilling. Efter reparation, det Jødiske Museum, hilser de besøgende med et nyt belysningssystem, som blev foretaget i overensstemmelse med de oprindelige. Permanente udstillinger i Museet er inddelt i tre zoner.