Der Sohn eines Maurers absolviert eine kaufmännische Lehre. 1916 tritt Ollenhauer in die Sozialistische Arbeiterjugend (SAJ) und im Jahr 1918 in die SPD ein. Ab dem Folgejahr ist Ollenhauer als Redakteur der sozialdemokratischen „Volksstimme“ in Magdeburg tätig. Seit 1921 arbeitet er als Sekretär im Hauptvorstand der SAJ in Berlin. Ab 1928 übernimmt Ollenhauer deren Vorsitz. Außerdem engagiert er sich jugendpolitisch im Reichsbanner und bemüht sich um die Vermittlung von republikanischen Idealen an Jugendliche. Zugleich versucht er, Bündnisse zwischen den demokratischen Jugendorganisationen zu initiieren.

Ende April 1933 wird Ollenhauer Mitglied des Vorstandes der SPD. Er emigriert im selben Jahr nach Prag. Von 1938 bis 1940 geht der überzeugte Sozialdemokrat als Mitglied des Exil-Vorstandes der SPD nach Paris. Anschließend siedelt er ins Exil nach London über.

1946 kehrt Ollenhauer nach Deutschland zurück. In führender Position beteiligt er sich am Neuaufbau der SPD. Von 1946 bis 1952 ist er deren stellvertretender, von 1952 bis 1963 Vorsitzender der Partei. 1949 wird Ollenhauer Mitglied des Deutschen Bundestags. Zugleich ist er zunächst stellvertretender und – nach dem Tode Kurt Schumachers im Jahr 1952 – Vorsitzender der Bundestagsfraktion der SPD. Besonders aktiv arbeitet Ollenhauer an der Entwicklung der SPD zur Volkspartei mit. Ollenhauer gehört zu den Mitverfassern des „Godesberger Programms“. Zudem ist er von 1951 bis 1963 Vizepräsident der Sozialistischen Internationale. Kurz vor seinem Tod wird Ollenhauer 1963 deren Präsident.