Podporuje NVIDIA GB200 Superchip BF16 a FP8?

Odpověď

Celý specifikační list NVIDIA GB200 Superchip uvádí: generace Blackwell, 384 GB HBM3e VRAM, 16,000 GB/s paměťové propustnosti, 4,500 TFLOPS FP16, 150 TFLOPS FP32, spotřeba energie 2,700W, uvedeno na trh v 2024.

Paměť je obvykle omezením pro real-time serving velkých modelů — při 384 GB NVIDIA GB200 Superchip pohodlně zvládá středně velké transformery ve FP16 a mnohem větší modely ve FP8/INT8. Hodnota 16,000 GB/s je zvláště důležitá pro autoregresivní dekódování omezené KV-cache, kde paměťová propustnost omezuje tokeny za sekundu více než čistý výpočetní výkon.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.