Neto de africanos, nasce em Cidade Nova, bairro do Rio de Janeiro onde se concentrava a maior parte da população negra. Seu nome verdadeiro é Alfredo da Rocha Vianna Filho. Há duas versões sobre a origem do nome Pixinguinha: pizidim (menino bom, no dialeto africano falado por sua avó) e Bexiguinha, apelido que ganhou na época que contraiu varíola.
Compõe seu primeiro choro Lata de Leite, com 13 anos. No ano seguinte estréia como flautista profissional. Em 1915 faz as primeiras orquestrações para cinema, teatro e circo. Em 1917 grava a primeira música de sua autoria, a valsa Rosa, e, em 1918, o choro Sofres Porque Queres.
Um ano depois cria o conjunto Oito Batutas, que, em 1922, excursiona pela Europa. Em 1937, um choro seu, Carinhoso (1928), recebe letra de João de Barro e se transforma num grande sucesso, sendo gravado por vários cantores. Em 1962 escreve a música para o filme Sol sobre a Lama, com letra de Vinicius de Moraes. Morre de infarto, no Rio de Janeiro.