Forma-se em direito em 1939 e trabalha como advogado na capital paulista antes de entrar para a vida pública. Elege-se vereador em 1947, deputado estadual em 1950, prefeito de São Paulo em 1953 e governador em 1954. Orador carismático, faz sucesso entre os eleitores com sua pregação sobre a moralidade administrativa.
Na disputa pela prefeitura paulistana, conquista grande popularidade ao usar uma vassoura como símbolo da limpeza que pretende fazer nos órgãos públicos. "Varrer a corrupção" é o tema principal de sua campanha à Presidência da República. Eleito com 48% dos votos, resultado até então recorde no Brasil, toma posse em janeiro de 1961. Renuncia sete meses depois, alegando sofrer pressão de "forças ocultas".
Entre os historiadores, a análise mais aceita é a de que Jânio queria governar com mais poderes, e que a renúncia era apenas uma manobra estratégica. Apostava que ela não seria aceita pela população, que o prezava, nem pelos conservadores, que temiam a posse do vice, João Goulart, considerado muito à esquerda. Portanto, voltaria mais forte.
Seu breve governo é ambíguo, caracterizado por uma política interna conservadora, de combate à inflação, e por ações externas progressistas, de aproximação com os países socialistas e de defesa aberta de Cuba em seu confronto com os Estados Unidos.
Em 1964 tem seus direitos políticos cassados pelo Regime Militar. Retoma a vida pública no fim dos anos 70. Em 1982 perde a disputa pelo governo paulista, mas elege-se prefeito da capital em 1985. Morre em São Paulo.