Aprende a tocar violão e, por influência do padrasto, começa a estudar piano aos 14 anos com o alemão Hans Joachim Koellreutter, introdutor da música dodecafônica no Brasil. Enquanto completa os estudos, ganha a vida como pianista nas casas noturnas de Copacabana. O primeiro sucesso é Teresa da Praia (1954), em parceria com Billy Blanco.
Dois anos depois cria canções para a peça Orfeu da Conceição, de Vinicius de Moraes. Algumas de suas composições são incluídas no LP Canção do Amor Demais (1958), de Elizeth Cardoso, considerado um prenúncio da bossa nova. Em 1962 participa do Festival de Bossa Nova no Carnegie Hall de Nova York.
No ano seguinte compõe Garota de Ipanema com o parceiro Vinicius. Em 1967 grava o disco Francis Albert Sinatra & Antônio Carlos Jobim. Trabalha com músicos como Stan Getz, Ella Fitzgerald, Andy Williams e Nelson Riddle. Entre suas composições se destacam Desafinado e Samba de uma Nota Só (com Newton Mendonça), Corcovado, Sabiá e Retrato em Branco e Preto (com Chico Buarque de Holanda) e Águas de Março. Morre em Nova York. Em abril de 1999, o Aeroporto Internacional do Rio de Janeiro recebe o nome de Antônio Carlos Jobim em sua homenagem.