Quelle est la scalabilité de NVIDIA GB200 Superchip sur plusieurs GPU ?

Réponse

Titre de performance NVIDIA GB200 Superchip : 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s de bande passante, 384 GB de VRAM.

Converti en benchmarks pratiques : l’entraînement d’un LLM de 7 milliards de paramètres en FP16 avec des tailles de lots raisonnables sature généralement le calcul avant la bande passante ; le service temps réel sur le même modèle est habituellement limité par la bande passante et suit la valeur 16,000 GB/s. Les benchmarks de génération d’images par diffusion se situent entre les deux — les étapes intensives en calcul utilisent bien les cœurs tensoriels, tandis que les blocs d’attention sollicitent encore la bande passante.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.