Der jüdische Friedhof wurde am 28.Oktober 1743, ungefähr drei Jahre nach der Gründung der jüdischen Gemeinde in Potsdam am damaligen Eichberg eröffnet. Dieser „Judenberg“ wurde 1817 in Pfingstberg umbenannt. Ab dann konnten die Verstorbenen, anstatt nach Berlin gebracht zu werden, auch in Potsdam begraben werden.
1801 ersetzte eine Mauer den vorherigen Zaun. Aufgrund der geringen Größe und des Wachstums der jüdischen Bevölkerung wurde der Friedhof 1874, 1910 und 1920 erweitert. Wegen Platzmangel wurde die 1801 errichtete Trauerhalle 1856 und 1881 durch Neubauten ersetzt. Auf dem Gelände der Erweiterung von 1910 bauten die Architekten Börnstein & Kopp die noch heute bestehende große Trauerhalle und das Gärtnerhaus, das die christliche Familie Mager bis in die 1950er Jahre bewohnte.
Während der NS-Zeit kam es immer wieder zu Schändungen, wie zur Plünderung der Trauerhalle und einem versuchten Brandanschlag auf das Gärtnerhäuschen im Jahr 1938. Zwei Jahre später raubte man für die „Reichsmetallspende“ alle Metallteile von Gräbern und Grabanlagen. Leider kam es auch in der jüngeren Vergangenheit immer wieder zu Schändungen der Grabanlagen. Bei einem Brandanschlag am 7. Januar 2001 auf die Trauerhalle wurde eine Außentür stark beschädigt.
Seit 1743 beerdigten die Potsdamer Juden fortwährend auf ihrem Friedhof am Pfingstberg. Nach der Auflösung der jüdischen Gemeinde 1942 fanden zwar noch Bestattungen statt, Grabsteine wurden aber nicht mehr gesetzt. 1944 sollte der Friedhof an die Stadt Potsdam verkauft werden. Dazu kam es allerdings nicht mehr.
Im Januar 1977 stellte die Stadt Potsdam den jüdischen Friedhof unter Denkmalschutz. Trotzdem verwahrloste er und die Trauerhalle wurde zweckentfremdet und damit entweiht. Seit 1999 gehört der Friedhof mit seinen 532 historischen Grabanlagen zum UNESCO-Weltkulturerbe und stellt zugleich einen wichtigen Grundpfeiler der jüdischen Gemeinschaft Potsdams dar.
