Gustavsson, 50 anos, deixa o cargo depois de quatro anos no comando.
"Agradecemos-lhe a sua forte contribuição, paixão e empenho durante esse tempo e desejamos-lhe todo o sucesso para o futuro", disse o diretor executivo do Football Australia, James Johnson, em comunicado.
O processo para encontrar o substituto de Gustavsson "começará imediatamente", acrescentou Johnson.
A derrota olímpica por 2-1 com os Estados Unidos selou a primeira eliminação da Austrália de uns Olímpicos desde a sua estreia em 2000. É uma queda acentuada da equipa australiana, que terminou em quarto lugar em Tóquio há três anos.
Sob o comando de Gustavsson, a Austrália também chegou às meias-finais do Mundial Feminino no ano passado, que foi organizado em conjunto com a Nova Zelândia.
A Austrália perdeu a partida de estreia em Paris por 3-0 com a Alemanha e, apesar de ter recuperado com uma vitória por 6-5 sobre a Zâmbia, a derrota com os Estados Unidos selou a eliminação.
As esperanças de chegar aos quartos como um dos melhores terceiros classificados acabaram quando o Canadá derrotou a Colômbia por 1-0.
A seleção canadiana, atual campeã do mundo, seguiu em frente, apesar de ter sido punida com seis pontos por causa de um escândalo de espionagem.
A treinadora canadiana, Bev Priestman, foi mandada para casa e condenada a um ano de proibição de treinar depois de um membro da sua equipa técnica ter utilizado um drone para espiar um treino da Nova Zelândia antes do jogo de abertura.
"Foi uma grande honra e um privilégio ter podido ser o treinador principal dos Matildas nos últimos quatro anos", afirmou Gustavsson num comunicado.
"O futebol australiano estará para sempre no meu coração e estarei a acompanhar e a torcer pelo vosso sucesso no futuro", concluiu.