Η ιδέα του Εβραϊκού Μουσείου της Ελλάδος γεννήθηκε στα τέλη της δεκαετίας του ’70. Η πρωτοβουλία ανήκε στην Ισραηλιτική Κοινότητα Αθηνών και ορισμένα μέλη της που προσέφεραν κάθε είδους υποστήριξη στην προσπάθεια αυτή. Το 1977 ιδρύθηκε ένα μικρό μουσείο, το οποίο στεγάστηκε προσωρινά σ’ ένα δωμάτιο δίπλα στη Συναγωγή της οδού Μελιδώνη.
Εκεί συγκεντρώθηκαν αντικείμενα που είχαν διασωθεί από τον πόλεμο, κυρίως τεχνουργήματα και έγγραφα του 19ουκαι του 20ου αιώνα, καθώς και πλήθος από θρησκευτικά σκεύη, έγγραφα και κοσμήματα. Τα τελευταία, τα οποία είχαν κατάσχει οι Βούλγαροι από τους Εβραίους της Θράκης το 1943, επιστράφηκαν και παραδόθηκαν στην Ελληνική κυβέρνηση μετά την παραίτηση του Βούλγαρου βασιλιά και την εγκαθίδρυση του κομμουνιστικού καθεστώτος.
