Czy NVIDIA GB200 Superchip obsługuje BF16 i FP8?

Odpowiedź

Pełna specyfikacja NVIDIA GB200 Superchip brzmi: generacja Blackwell, 384 GB pamięci VRAM HBM3e, przepustowość pamięci 16,000 GB/s, 4,500 TFLOPS FP16, 150 TFLOPS FP32, pobór mocy 2,700W, wydana w 2024.

Pamięć jest zwykle ograniczeniem dla obsługi modeli dużych w czasie rzeczywistym — przy 384 GB, NVIDIA GB200 Superchip z łatwością obsługuje średniej wielkości transformatory w FP16 oraz znacznie większe modele w FP8/INT8. Wartość 16,000 GB/s jest szczególnie ważna dla dekodowania autoregresyjnego ograniczonego przez pamięć KV-cache, gdzie przepustowość pamięci ogranicza liczbę tokenów na sekundę bardziej niż surowa moc obliczeniowa.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.