Em 1959 elege-se deputado e segue carreira política até que, em 1973, torna-se presidente do Partido Democrata-Cristão. Três anos depois, lidera no Parlamento a oposição ao chanceler Helmut Schmidt, do Partido Social-Democrata. Em 1982 é eleito chanceler, cargo que na Alemanha equivale ao de chefe de governo.
Uma de suas primeiras ações é diminuir os gastos públicos. Entre 1985 e 1986 enfrenta acusações de envolvimento em casos de corrupção, mas é inocentado por falta de provas. Assim que a União Soviética deixa de controlar a Europa Oriental, entre 1989 e 1990, Kohl passa a incentivar a reunificação da Alemanha Ocidental e da Oriental.
Em maio de 1990, as duas Alemanhas unificam seus sistemas de assistência social; em 3 de outubro, a Alemanha Oriental deixa de existir, fato simbolizado pela queda do Muro de Berlim. Na primeira eleição unificada desde 1932, a coalizão que apóia Kohl conquista a maioria no Parlamento.
Em abril de 1997 anuncia a intenção de concorrer ao quinto mandato consecutivo, apesar do baixo índice de aprovação popular a seu governo, o que se confirma com sua derrota eleitoral em 1998.