Neben der Partei verboten die Nazis Gewerkschaften, Arbeitervereine und die Vorfeldorganisationen. Parteimitglieder wurden nun verfolgt, verhaftet, in Konzentrationslager gesteckt und auch ermordet. Durch Emigration konnten sich einige Sozialdemokraten, wie z.B. Willy Brandt oder Erich Ollenhauer, retten. Aufgrund der Verfolgung verlegte der SPD-Parteivorstand 1933 seinen Sitz nach Prag, um von dort aus den Widerstand in Deutschland gegen Hitler zu organisieren und die Weltöffentlichkeit auf die Verbrechen der Nazis aufmerksam machen zu können. Zum Teil wurde der sozialdemokratische Widerstand auch aus dem Saargebiet, das erst nach der Saarabstimmung 1935 wieder zum Deutschen Reich kam, geleitet. Aufgrund der politischen Lage musste der Sitz des Parteivorstandes 1938 nach Paris verlegt werden. Nach dem Einmarsch der Wehrmacht in Frankreich, floh die Parteileitung unter Hans Vogel nach London. Neben dem aus dem Ausland organisierten Widerstand, gab es auch Widerstandsgruppen in Deutschland. Die Arbeit bestand zum Beispiel im Verteilen von Flugblättern und in praktischer Hilfe vor Ort. Tausende Sozialdemokraten wurden in Konzentrationslagern und in Gestapo-Haft gequält und umgebracht, wie Rudolf Breitscheid und Ernst Heilmann. Der frühere Finanzminister Hilferding entzog sich durch Selbstmord der Gestapo-Folter. Andere Sozialdemokraten versuchten am 20. Juli 1944, zusammen mit Offizieren der Wehrmacht und anderen Widerstandskämpfern, gegen das Hitler-Regime zu putschen. Julius Leber, Wilhelm Leuschner, Theodor Haubach und Adolf Reichwein hätten dabei führende Rollen in einer neuen Regierung übernommen. Nach dem gescheiterten Putsch wurden sie misshandelt und anschließend hingerichtet.

Otto Wels am Rednerpult, 1932 (© AdsD der Friedrich-Ebert-Stiftung).