Prvotni Judovski muzej na Dunaju je bila ustanovljena leta 1896 in je bil prvi tovrstni muzej na svetu. V muzeju je obstajal s podporo "Društva za zbiranje in ohranjanje umetnostnih in zgodovinskih spomenikov judovstva." Osredotočil se je na zgodovino in kulturo Judov v Avstro-Ogrski. Njegova zbirka predmetov in izdelkov iz Palestine odraža tudi politično razpravo o cionizma. Muzej je bil zaprt takoj po okupaciji Avstrije s strani nacistov. V zadnjem letu svojega obstoja, je bilo 6474 različnih predmetov. Leta 1939 so bili preneseni v Muzeju za etnologijo in drugimi institucijami.

Večina predmetov je bilo vrnjenih v judovski skupnosti v začetku leta 1950, vendar so nekateri uspeli vrniti šele v 1990 letu. Mnogi eksponati so bili izgubljeni. Ko je New Judovski muzej popis, je bilo ugotovljeno, da je polovica originalnih predmetov izginila. Toda ostali stvari, so zelo redki eksponati, ki predstavljajo kot predmeti iz vsakdanjega življenja, in edinstvenih materialov.

31 december 1964 majhen judovski muzej je bil odprt v novo zgrajene stavbe na Tempelgasse, vendar je dobil skoraj nobene pozornosti javnosti. Po 3 letih je muzej zaprt.

Prva razstava novega judovskega muzeja na Dunaju odprli 7. marec, 1990 v začasnih prostorih v pisarnah judovske skupnosti. Pomemben del razstave je bil sestavljen iz zbirke Max Berger. Leta 1992 se je muzej preselil v sedanjem domu v palači Eskeles Doroteegasse. Muzej so odprli leto kasneje, leta 1993. Knjižnica je bila odprta za javnost leta 1994.

Od jeseni 2011 je muzej odprl svoja vrata po popolni prenovi, kot same stavbe, in posodobiti stalno razstavo. Obnovljeno Judovski muzej pozdravlja obiskovalce na nov sistem razsvetljave, ki je bila opravljena v skladu z izvirnikom. Stalna razstava v muzeju se nahajajo na treh območjih.