Juntou-se à FRELIMO em 1963, pouco após o início da Guerra da Independência de Moçambique, na então Lourenço Marques e abandonou Moçambique em 1964 para estudar numa escola especial na Ucrânia, base de Perevalny. No Governo de Transição (1974-1975), Guebuza ocupou a pasta da Administração Interna e no primeiro Governo do Moçambique independente a pasta de Ministro do Interior. Foi como Ministro do Interior que emitiu a ordem conhecida como "24 20" que dava a todos os residentes portugueses 24 horas para deixar o país, não lhes sendo permitido levar consigo mais de 20 quilos de bagagem. Durante os anos 80, foi responsável pelo muito impopular programa "Operação Produção", que visava deslocar os desempregados das áreas urbanas para as áreas rurais no norte do país. Após a morte de Samora Machel, num acidente de aviação na África do Sul, fez parte da comissão que investigou o acidente. Essa comissão não chegou a qualquer conclusão. Em 1992, foi nomeado chefe da delegação do governo na Comissão de Supervisão e Implementação do Acordo Geral de Paz para Moçambique.
Após o abandono das políticas económicas socialistas pelo presidente Joaquim Chissano, que incluiu a privatização de empresas estatais, Guebuza tornou-se um empresário de sucesso, já que muitas das empresas, que antes eram estatais, passaram a pertencer-lhe, particularmente nas indústrias de construção, exportação e pescas. Os bens estatais tornaram-se sua propriedade, por meio de herança do governo.
Em 2002 foi eleito secretário-geral da FRELIMO, cargo que o tornou candidato do partido às eleições presidenciais de 2004, que venceu. Em 2 de Fevereiro de 2005 Armando Guebuza tornou-se o terceiro Presidente da República de Moçambique. Em 28 de outubro de 2009, foi reeleito para um novo mandato, obtendo 75% dos votos. Actualmente, Guebuza é ainda presidente de seu partido.
A 1 de Julho de 2014 foi agraciado com o Grande-Colar da Ordem do Infante D. Henrique de Portugal.
Casado com Maria da Luz Guebuza, tem 4 filhos e dois netos
