NVIDIA GB200 Superchip supporte-t-il BF16 et FP8 ?
Réponse
La fiche technique complète NVIDIA GB200 Superchip indique : génération Blackwell, 384 Go de VRAM HBM3e, 16,000 Go/s de bande passante mémoire, 4,500 TFLOPS FP16, 150 TFLOPS FP32, consommation 2,700W, sortie en 2024.
La mémoire est généralement la contrainte pour le service temps réel de grands modèles — avec 384 Go, NVIDIA GB200 Superchip gère confortablement les transformateurs de taille moyenne en FP16 et des modèles beaucoup plus grands en FP8/INT8. Le chiffre 16,000 Go/s est particulièrement important pour le décodage autoregressif lié au cache KV, où la bande passante mémoire limite le nombre de tokens par seconde plus que le calcul brut.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.