Dois anos mais tarde é escolhido pela Aliança Renovadora Nacional (Arena) para ser prefeito de São Paulo. Em 1978, com 47 anos, chega a governador do estado, também indicado pela Arena. É deputado federal do Partido Democrático Social (PDS) em 1982 e disputa a eleição presidencial em 1985, perdendo para Tancredo Neves no colégio eleitoral.
Sofre em seguida mais quatro derrotas: ao governo de São Paulo (1986), à prefeitura (1988), à Presidência da República (1989) e ao governo estadual de novo (1990). Em 1992 consegue eleger-se prefeito da capital paulista.
Em 1995 funda o Partido Progressista Brasileiro (PPB), com aliados do antigo PDS, e dois anos depois, já fora da prefeitura, tem o nome envolvido no escândalo dos precatórios - é acusado de usar para outros fins os títulos da dívida pública, ou precatório, normalmente emitidos para pagar ações judiciais. É acusado também de superfaturamento na compra de frangos para merenda escolar.
A granja que fornece o produto está no nome de sua esposa. Os escândalos abalam sua candidatura ao governo do estado em 1998. Depois de liderar toda a campanha e vencer o primeiro turno com vantagem de 1,5 milhão de votos, acaba perdendo no segundo turno para Mário Covas.