Nasqué l'1 de juliol de 1879 a la ciutat de París, sent fill d'un treballador fabril d'Aubervilliers. Inicià els seus estudis secundaris, però els hagué de deixar a causa de la falta de diners del seu pare a causa de les vagues. Als setze anys entrà a treballar en la fàbrica on treballava el seu pare, immediatament inicià processos de vaga contra l'ús del fòsfor blanc que va deixar cec al seu pare, motiu pel qual fou acomiadat.
Vida sindical
El 1906 fou escollit com a delegat i representant a la Confederació General del Treball (CGT), on la seva capacitat de treball li permeté anar escalant posicions internes. Abans de 1909 ja havia aconseguit esdevenir tresorer i aquell any fou designat Secretari General, un càrrec que va desenvolupar fins al 1947. En el seu càrrec Jouhaux promogué diverses millores pel treballador, aconseguint així la jornada laboral de 8 hores, el dret a sindicació, la signatura de convenis col·lectius així com el dret a tenir vacances pagades. Gràcies al govern del Front Popular Francès (Comunistes, socialistes i radicals) durant la Tercera República Francesa Jouhaux aconseguí firmar amb el govern aquestes millores laborals en els Acords de Matignon de 1936.
Ferm opositor de qualsevol conflicte armat, a l'inici de la Segona Guerra Mundial donà suport al seu país i lluità contra els nazis convençut que la victòria d'aquests suposaria el final de la democràcia a Europa. Durant la guerra fou arrestat i deportat al camp de concentració de Buchenwald. A la fi de la guerra continuà amb el seu càrrec de Secretari General de la CGT fins a la seva dimissió el 1947 per fundar una nova branca, la Confederació General del Treball - Força Obrera (CGT - FO).