Depois de deixar o conjunto, é contratado pela CBS como violonista para acompanhar gravações. Participa, em 1958, das faixas Chega de Saudade e Outra Vez (ambas de Tom Jobim e Vinicius de Moraes), do LP Canção do Amor Demais, de Elizeth Cardoso, introduzindo a harmonização e a batida no violão, características da bossa nova.
No mesmo ano grava em 78 rotações Chega de Saudade, em que mostra seu estilo intimista de cantar, seguida de Desafinado, de Tom Jobim e Vinicius de Moraes. Em 1959 lança o primeiro LP, Chega de Saudade. Em 1962 participa do Festival de Bossa Nova no Carnegie Hall, em Nova York, e ganha prestígio internacional. Dois anos depois lança Getz/Gilberto, gravado com Stan Getz nos Estados Unidos.
O disco rende a ele seis Grammy, o mais cobiçado prêmio musical norte-americano. Lança em 1994 o disco Eu Sei Que Vou Te Amar. Apresenta-se frequentemente na Europa e no Japão.