Cependant, sa carrière décolle véritablement grâce à David Chase créateur de la série Les Soprano qui lui propose le rôle de Tony Soprano, rôle initialement prévu pour Ray Liotta. Son interprétation magistrale tout en nuances d'un homme puissant, impitoyable mais tourmenté lui vaudra trois Emmy Awards dans la catégorie "Meilleur acteur dans une série dramatique.

Gandolfini gagnait plus d'1 millions de dollars par épisode et le magazine Entertainement Weekly l'a classé 42eme dans le classement Greatest TV Icon of All Time pour avoir joué Tony Soprano.

En 2007, James Gandolfini produit un documentaire axé sur les vétérans de la guerre en Irak. Il interviewe 10 soldats pour voir comment ceux-ci s'adaptent à leurs nouvelles vies après la guerre et pour décrire le jour le plus tragique de chacune de leur vie. Ce documentaire fut diffusé sur la chaîne HBO aux États-Unis.