Josef Schmidt wurde am 08.03.1913 in Merzig im Saargebiet als Sohn des Kaufmanns Nikolaus Schmidt geboren. Nach der Erziehung im elterlichen Hause und dem Besuch der Volksschule Merzig wechselte er auf das Gymnasium, welches er 1932 mit dem Reifezeugnis abschloss.

Schmidt trat am 25.04.1934 in die 5. Kompanie des Infanterie-Regiments 39 in Burg bei Magdeburg ein. Über die Kriegsschule Dresden kam er am 01.11.1936 zum Artillerie- Regiment 26, bei dem er, inzwischen zum Leutnant befördert, am 01.04.1937 als Batterie-Offizier zur 5. Batterie kam. Am 10.11.1938 wurde er Adjutant der II. Abteilung Art.Rgt. 26. Nach der Beförderung zum Oberleutnant im August 1939 übernahm er als Chef die 4. Batterie dieses Regiments. Mit dieser Batterie nahm er im Rahmen der 26. Infanterie-Division am Westfeldzug durch Luxemburg bis zur Aisne/Champagne in Frankreich teil.

Es folgte eine Besatzungszeit in Belgien, bevor im Juni 1941 die Vorbereitungen für das Unternehmen Barbarossa anliefen und auch das Artillerie-Regiment 26 hierzu in den Osten verlegt wurde. Hier begann nun der Vormarsch über Polozk, Düna, Bjelowje, Kalinin und Rshew, wo er im Dezember 1941 zum stehen kam. Im Frühjahr 1942 zum Hauptmann befördert übernahm Josef Schmidt als Kommandeur am 19.09.1942 die II. Abteilung des Regiments. Es folgten die wechselvollen Kämpfe im Donbogen bei Bolchow und Orel (hier zur Verfügung der 8. italienischen Armee) sowie bei Kursk und Smolensk im Jahre 1943.

Major Schmidt fiel am 22.07.1944 bei Puchaczow etwa 20 km nordostwärts Lublin, als er mit einer Kampfgruppe gegen überlegene Infanterie- und Panzerkräfte eine Panzersperre durchbrach. Posthum wurde er mit Wirkung vom 01.07.1943 zum Oberstleutnant befördert.