Aus einfachen Verhältnissen kommend, engagiert sich Karl Rüther in mehreren Organisationen der Arbeiterbewegung. Als Tischer ist er gewerkschaftlich im Deutschen Holzarbeiterverband organisiert. Ferner ist er Mitglied der SPD und engagiert sich im Arbeiter-Samariterbund.

Als Mitglied des Reichsbanners in Hamburg-Barmbeck gehört er der sogenannten Schutzformation (Schufo) an. Seit 1930 versucht das Reichsbanner, sich mit diesen neuen Eliteeinheiten gegen die zunehmende Brutalität der SA zu wehren. Die Schufos erhalten eine paramilitärische Ausbildung, aber keine Waffen. Die Zahl der Schufo-Männer wächst im ersten Jahr auf fast 250.000 an. Da der Staat seine Schutzfunktion immer weniger ausüben kann, schirmen sie Versammlungen gegen nationalsozialistische Übergriffe ab, begleiten prominente Redner über Land und bewachen Partei- und Gewerkschaftseinrichtungen.

Nach der Machtübernahme der Nationalsozialisten heiratet Rüther und gründet eine Familie. Acht Monate nach der Geburt seines Sohnes wird der 30-Jährige im April 1937 von der Gestapo festgenommen und in das Polizeigefängnis Fuhlsbüttel gebracht. Zu dieser Zeit ermittelt die Gestapo gegen viele Hamburger Sozialdemokraten wegen des Verdachts der „Vorbereitung zum Hochverrat“. Karl Rüther wird während der Verhöre schwer gefoltert. Schließlich stirbt er an den dabei erlittenen Verletzungen. Die Gestapo teilt seiner Ehefrau mit, er habe sich erhängt.