Der gelernte Kesselschmied Otto Scharfschwerdt findet in Berlin Arbeit bei der Reichsbahn und steigt im Laufe der Zeit bis zum Lokführer auf. Jahrelang gewerkschaftlich engagiert, wird er 1920 in den Vorstand der Gewerkschaft Deutscher Lokomotivführer gewählt. Bald darauf übernimmt er dort als hauptamtlicher Funktionär Verantwortung.

In seinem nördlich von Berlin gelegenen Wohnort Hohen Neuendorf ist Scharfschwerdt in der SPD aktiv. 1929 erhält er ein Mandat im Kreistag von Niederbarnim. Zusammen mit seinem Sohn Otto ist er in der Reichsbanner-Ortsgruppe Hohen Neuendorf tätig. Bei der Bundes-Verfassungsfeier des Reichsbanners im August 1929 in Berlin tritt er als Redner auf.

Im Zuge der Machtergreifung der Nationalsozialisten hält die SA im März 1933 Scharfschwerdt zusammen mit seinem 23-jährigen Sohn einige Tage im Konzentrationslager Oranienburg fest. Wenige Wochen später wird Scharfschwerdt sen. dort erneut kurzzeitig inhaftiert. Nach seiner Freilassung knüpft er weitreichende Verbindungen zu mehreren Zirkeln, die im Widerstand gegen das NS-Regime aktiv sind. Auch verfasst er Flugschriften, stellt Flugblätter her und organisiert deren Verteilung. Die Gestapo zerschlägt ab 1936 mehrere dieser Widerstandskreise und nimmt im Januar 1937 schließlich auch Scharfschwerdt fest. Der „Volksgerichtshof“ verurteilt ihn wegen „Vorbereitung zum Hochverrat“ zu sechs Jahren Zuchthaus. Nach der Haftverbüßung bringt die Gestapo ihn im Februar 1943 in das Konzentrationslager Sachsenhausen. Dort kommt Otto Scharfschwerdt wenige Monate später unter ungeklärten Umständen ums Leben.