Ondersteunt NVIDIA GB200 Superchip BF16 en FP8?

Antwoord

Het volledige NVIDIA GB200 Superchip specificatieblad luidt: Blackwell generatie, 384 GB HBM3e VRAM, 16,000 GB/s geheugenbandbreedte, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W vermogen, uitgebracht in 2024.

Geheugen is doorgaans de beperking voor real-time serving van grote modellen — met 384 GB kan NVIDIA GB200 Superchip moeiteloos middelgrote transformers aan in FP16 en veel grotere modellen in FP8/INT8. Het 16,000 GB/s cijfer is bijzonder belangrijk voor KV-cache-beperkte autoregressieve decoding, waarbij geheugenbandbreedte het aantal tokens per seconde meer beperkt dan pure rekenkracht.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.