NVIDIA GH200 Superchip est-il suffisamment performant pour l'inférence en production ?
Réponse
La réponse courte : NVIDIA GH200 Superchip fonctionne à 989 TFLOPS FP16 avec 4,000 GB/s de bande passante mémoire. La réponse longue dépend de ce que vous exécutez.
Pour l’entraînement dense FP16 avec de grands lots, NVIDIA GH200 Superchip sature les cœurs tensoriels et offre un débit proche du pic des FLOPS. Pour le service limité par la mémoire sur des modèles de base à long contexte, la bande passante domine — la valeur 4,000 GB/s est plus importante que les TFLOPS annoncés. Pour le calcul scientifique, le FP32 à 494.5 TFLOPS est le chiffre pertinent et place NVIDIA GH200 Superchip dans les attentes HPC de sa classe Hopper.
Check the NVIDIA GH200 Superchip page for complete specifications and related GPU matchups.