Harald Gelhaus trat am 05.04.1935 als Seeoffiziersanwärter in die Kriegsmarine ein. Nach seiner Ausbildung zum Seekadett an Bord vom SSS Gorch Fock, leistete Gelhaus, einer Offizierslaufbahn folgend, Dienst auf den Leichten Kreuzern Emden und Karlsruhe, sowie auf dem Schlachtkreuzer Gneisenau. Nach Kriegsbeginn wechselte Gelhaus im Oktober 1939 zu U-Bootwaffe. Nach seiner U-Ausbildung und Ableistung diverser Lehrgänge versetzte man Gelhaus als I.WO auf das Boot U-103 (Typ IX-B) unter dem Kommando von Viktor Schütze. Im Zeitraum September 1940 bis Februar 1941 nahm Gelhaus in dieser Funktion an drei erfolgreichen Feindfahrten des Bootes teil. Im März 1941 nahm Gelhaus an einem Kommandanten- und Schießlehrgang bei der 24. U-Flottille teil. Am letzten Tag desselben Monats übernahm er nun das Kommando über U-143 (Typ II-D). Mit diesem Boot operierte Gelhaus bei seinen ersten Feindfahrten als Kommandant von Norwegen aus Glücklos und durch Schäden beeinträchtigt. Im November 1941 verließ Gelhaus U-143 und übernahm am 1. Dezember das Kommando über das erfolgreiche Boot U-107 (Typ IX-B) bei der 2. U-Flottille in Lorient. Ab dem 10. Dezember 1941 operierte Gelhaus im Atlantik westlich von Spanien gegen den Geleitzug HG-76 als Fühlungshalter, konnte jedoch selber keine Versenkung erzielen. In dieser Geleitzugschlacht, einer der härtesten des Krieges gelang es den Begleitschiffen der Escort Group 36 unter Führung von Cdr F. J. Walker fünf U-Boote, darunter das Boot U-567 von Engelbert Endrass zu versenken.

Nach Neuausrüstung im Stützpunkt erfolgte die erneute Ausfahrt am 07.01.1942. Das neue Operationsgebiet lag vor der Westküste der USA. Bei dieser bis zum 07.03.1942 geführten Feindfahrt gelang Gelhaus mit seinem Boot die Versenkung von zwei Schiffen mit 10.850 BRT sowie die Beschädigung eines weiteren mit 10.068 BRT. Trotz dieser Versenkungen erfolgte eine leichte Rüge des BdU, da Gelhaus nicht alle Möglichkeiten für die Versenkung von Schiffen ausgenutzt hatte. Bei einem Treffen zur Versorgung von U-564 mit Treibstoff rammte Gelhaus das Kameradenboot unglücklich am Bug und beschädigte es so erheblich das beide Boote Kurs auf Frankreich nehmen mussten. Nach seiner erneuten Ausfahrt im April 1942 erreichte Gelhaus mit U-107 im Mai 1942 sein Operationsgebiet Karibik durch die Windward-Passage. In diesem Seegebiet gelang ihm mit U-107 bis Anfang Juli 1942 während dieser Feindfahrt die Versenkung von 7 Schiffen mit 27.000 BRT und bekam vom BdU ein: