Jako piłkarz występował na pozycji napastnika. W 369 meczach w niemieckiej Bundeslidze strzelił 220 goli, co czyni go czwartym najskuteczniejszym strzelcem w historii tych rozgrywek. W reprezentacji Niemiec wystąpił 39 razy, zdobył 14 goli. Był podstawowym zawodnikiem drużyny, która wygrała mistrzostwo Europy 1972 i rezerwowym, gdy Niemcy wygrywali mistrzostwo świata 1974.
W 1997 po pracy w CD Tenerife została mu powierzona ławka trenerska Realu Madryt. W sezonie 1997/1998 zdobył z Realem Puchar Mistrzów. 20 maja 1998 w finale Ligi Mistrzów na Amsterdam ArenA Real Madryt pod jego wodzą pokonał Juventus 1:0. Wcześniej w ćwierćfinale i półfinale odprawił z kwitkiem dwie niemieckie drużyny (Bayer 04 Leverkusen, Borussia Dortmund – obrońca trofeum). Była to pierwsza wygrana Królewskich w Pucharze Mistrzów od 1966. Mimo bardzo dobrych wyników w europejskich pucharach został zwolniony, gdyż w Primera División Real Madryt skończył sezon dopiero na trzecim miejscu za FC Barceloną (11 punktów straty) i Athletic Bilbao.
W 2002 powrócił do Niemiec i został trenerem FC Schalke 04. W Gelsenkirchen pożegnał się z drużyną na początku drugiego sezonu pracy z Schalke 04. Drużynę po nim przejął Ralf Rangnick osiągając z drużyną S04 wicemistrzostwo Niemiec. Od tamtego momentu wydawało się, że Jupp Heynckes zaczął raczej zbliżać się do końca swojej długiej i bogatej przygody z piłką. Po roku przerwy wrócił jednak na stare śmieci do Mönchengladbach. Nie był to udany powrót – Heynckes trenował drużynę tylko do 19. kolejki. Po tamtym sezonie drużyna Borussii spadła z Bundesligi.
W 2011 nie przedłużył kontraktu z Bayerem Leverkusen. W marcu podpisał umowę z Bayernem Monachium, która obowiązywała od 1 lipca 2011. Tym samym został szkoleniowcem Bawarczyków po raz trzeci (wcześniej był w latach 1987–1991 i od kwietnia do czerwca 2009)[1]. W sezonie 2011/2012 dotarł z Bayernem Monachium do finału Ligi Mistrzów gdzie przegrał z Londyńską Chelsea FC (1:1 w podstawowym czasie gry, 3:4 w rzutach karnych). 25 maja 2013 wygrał z Bayernem Ligę Mistrzów 2013 – 2:1 (0:0) w finale z Borussią Dortmund. Tym samym Heynckes został czwartym trenerem w historii, który zdobył Puchar Europy jako trener dwóch klubów (po Happelu, Hitzfeldzie i Mourinho)[2]. Po tym sezonie odszedł na emeryturę. 6 października 2017 przerwał emeryturę i po raz czwarty w swojej karierze został trenerem Bayernu Monachium[3]. Zastąpił na tym stanowisku zwolnionego Carlo Ancelottiego. 20 maja 2018 po raz drugi odszedł na emeryturę.