Recorde as incidências da partida
O terceiro set de Gauff levou-a a uma vantagem de 5-2 e a um triplo match point, mas cometeu um par de duplas faltas e Svitolina salvou outra com um backhand fulgurante, a caminho de um intervalo.
Mas Gauff quebrou Svitolina no jogo seguinte para garantir a vitória.
Num encontro tenso e físico no Estádio Arthur Ashe, Gauff reagrupou-se depois de um final atribulado no primeiro set, em que Svitolina quebrou para uma vantagem de 5-3 e embolsou o primeiro set.
Gauff conseguiu a sua primeira quebra do encontro na quarta oportunidade que teve para uma vantagem de 4-2 no segundo set e aguentou para forçar o terceiro.
"Eu sabia que hoje ia ser um jogo difícil - ela é uma lutadora", disse Gauff, afirmando que mais agressividade no seu forehand e menos erros no backhand ajudaram-na a dar a volta à situação.
Noutros jogos iniciais, a sétima cabeça de série, Zheng Qinwen, da China, que recuperou de um set de desvantagem em cada um dos seus dois primeiros jogos, derrotou a alemã Jule Niemeier por 6-2 e 6-1.
"Finalmente, foi o primeiro jogo que ganhei em dois sets", disse.
A espanhola Paula Badosa teve de lutar para vencer a qualifier romena Elena-Gabriela Ruse por 4-6, 6-1, 7-6 (10/8), que tinha derrotado a campeã de Wimbledon Barbora Krejcikova na segunda ronda.
Gauff foi seguido em Ashe por Ben Shelton e Frances Tiafoe, numa desforra dos seus memoráveis quartos de final americanos do ano passado, vencidos por Shelton - que se tornou o mais jovem americano nas meias-finais do Open dos EUA desde Michael Chang em 1992.
Tiafoe, que vem de um vice-campeonato em Cincinnati, estava "super animado" para ter outra chance contra o seu compatriota, enquanto luta para igualar ou melhorar a sua exibição nas meias-finais em 2022.
Djokovic, segundo cabeça de série, atrás do número um mundial Jannik Sinner, e já sem Carlos Alcaraz para se preocupar, depois da surpreendente eliminação do espanhol na segunda ronda, abre a sessão noturna em Ashe contra Alexei Popyrin, 28.º cabeça de série.
A estrela sérvia ganhou os três encontros anteriores, incluindo no Open da Austrália e em Wimbledon este ano.
Mas Djokovic tem razões para estar atento. Popyrin conquistou o maior título da sua carreira no Masters de Montreal este mês, e Djokovic disse que o jogador de 25 anos está "a bater à porta".
Djokovic ganhou o ouro olímpico de singulares que cobiçava nos Jogos de Paris, mas esse foi um raro ponto alto numa época errática e o título do Open dos Estados Unidos do ano passado, que o levou a empatar com Margaret Court no maior número de Grand Slams de sempre, com 24, é o seu mais recente grande triunfo.
Popyrin, cabeça de série de um Major pela primeira vez, ainda não perdeu um set e o tenista de 24 anos disse que as suas derrotas em quatro sets para Djokovic este ano mostraram-lhe que pode desafiar a lenda.
Frente a frente
Mas ele terá de ser capaz de responder ao melhor de Djokovic se quiser dar-lhe a sua primeira eliminação antes da quarta ronda desde 2006.
"Ele é o maior de todos os tempos e um dos melhores jogadores do mundo neste momento", disse Popyrin.
"Mas eu sou capaz de o enfrentar, e apenas nos pontos importantes ele sobe um pouco, e eu tenho de esperar isso", acrescentou.
O jogo Djokovic-Popyrin abre a noite em Ashe, onde a campeã do Open da Austrália, Aryna Sabalenka, da Bielorrússia, segunda cabeça de série, fecha a noite contra a russa Ekaterina Alexandrova.
As duas dividiram os seus seis encontros anteriores, tendo Sabalenka vencido mais recentemente na quarta ronda em Wimbledon.
"Tivemos muitas batalhas fantásticas, jogos muito disputados", disse Sabalenka: "Estou ansiosa por essa grande luta".
Outros cabeças de série em ação incluem o vice-campeão de 2020 Alexander Zverev, em quarto lugar, enfrentando o argentino Tomas Martin Etcheverry numa vingança dos quartos de final de Roland Garros de 2023.
O número seis do mundo Andrey Rublev enfrenta Jiri Lehecka e o número oito do mundo e vice-campeão de 2022, Casper Ruud, enfrenta o adolescente chinês Shang Juncheng.