Estuda engenharia aeronáutica em Moscou, onde é aluno de projetistas de foguetes importantes, como Andrey Tupolev. É um dos criadores do Grupo de Estudos sobre Propulsão por Reação, que em 1933 lança o primeiro foguete experimental soviético movido a combustível líquido.
O desinteresse pela política e a não-filiação ao Partido Comunista lhe trazem problemas com as autoridades soviéticas anos depois. Chega a ser preso durante a II Guerra Mundial (1939-1945), mas, recolhido a uma prisão especial, continua trabalhando em seus projetos. Nos anos 50 desenvolve seu primeiro foguete-lançador, o Vostok, e trabalha no projeto do Sputnik, primeiro satélite artificial a entrar na órbita da Terra, em 1957.
O resultado de suas pesquisas também permitem à URSS construir seu primeiro míssil balístico intercontinental. Por causa da importância de seu trabalho para o programa espacial da URSS, tem a identidade preservada como segredo de Estado pelo governo soviético até sua morte, em 1966. É enterrado com honras no Kremlin.