Quatro anos depois a cantora Carmen Miranda grava seu samba Tempo Perdido, que não faz sucesso. Só em 1935 acontece seu primeiro êxito, com Saudade do Meu Barracão, gravado por Floriano Belham, seguido por Menina Que Pinta o Sete, interpretado pelo Bando da Lua. O cantor Sílvio Caldas grava, em 1936, Saudade Dela. O próprio Ataulfo grava Ai Que Saudades da Amélia, música sua com letra de Mário Lago, que faz o maior sucesso no Carnaval de 1942.
A dobradinha com Lago repete-se em outro sucesso, Atire a Primeira Pedra, de 1944. Continua a interpretar suas músicas, agora no grupo Ataulfo Alves e suas Pastoras. Em 1961 participa de uma caravana de divulgação da MPB pela Europa.
Passa a apresentar-se sozinho e, em 1966, é o representante brasileiro no I Festival de Arte Negra, em Dacar, Senegal. Morre no Rio de Janeiro, de complicações depois de uma cirurgia, pouco depois de emplacar um de seus últimos sucessos, o samba Laranja Madura.