Suportă NVIDIA GB200 Superchip BF16 și FP8?

Răspuns

Fișa tehnică completă NVIDIA GB200 Superchip spune: generația Blackwell, 384 GB de VRAM HBM3e, lățime de bandă a memoriei de 16,000 GB/s, 4,500 TFLOPS FP16, 150 TFLOPS FP32, consum de energie 2,700W, lansat în 2024.

Memoria este de obicei constrângerea pentru servirea în timp real a modelelor mari — la 384 GB, NVIDIA GB200 Superchip gestionează confortabil transformatoare de dimensiuni medii în FP16 și modele mult mai mari în FP8/INT8. Cifra de 16,000 GB/s este deosebit de importantă pentru decodarea autoregresivă limitată de cache-ul KV, unde lățimea de bandă a memoriei limitează tokenii pe secundă mai mult decât calculul brut.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.