Serve em vários estados até que abandona a carreira militar e vai para o Rio de Janeiro, em 1939, onde decide tentar o sucesso como tocador de sanfona e cantor. Apresenta-se em ruas, bares, cabarés, festas e programas de calouro. Uma participação no programa radiofônico de Ary Barroso abre caminho para o trabalho no rádio.
Seu primeiro sucesso é Chamego (1943), gravado por Carmen Costa. Escreve com Humberto Teixeira as canções Baião (1946), Asa Branca (1947), Juazeiro (1948) e Baião de Dois (1950). O sucesso dessas composições aumenta a popularidade do baião, ritmo típico do Nordeste.
A partir de 1954 passa a se exibir pelo interior do país e só reaparece nacionalmente nos anos 70. Em seus shows é muitas vezes acompanhado pelo filho, Luís Gonzaga Júnior, o compositor Gonzaguinha, que viria a falecer num acidente automobilístico em 1991. Morre no Recife em 1989.