NVIDIA GH200 Superchip est-il une carte pour centre de données, professionnelle ou grand public ?

Réponse

NVIDIA GH200 Superchip est construit sur l'architecture Hopper et est livré avec 96 Go de mémoire HBM3 à une bande passante de 4,000 Go/s. Sortie en 2023, la carte délivre 989 TFLOPS FP16 et 494.5 TFLOPS FP32 avec un TDP de 700W.

Pour les chercheurs en apprentissage automatique, ces chiffres se traduisent par plusieurs limites pratiques : le plafond VRAM dicte les poids du plus grand modèle de langage que vous pouvez charger (et la taille maximale du lot à une longueur de séquence donnée), tandis que la bande passante mémoire fixe la limite supérieure pour l'inférence lourde en attention. Le débit de calcul est surtout important pour les multiplications matricielles denses — pré-entraînement, pré-entraînement en grands lots et diffusion.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.