NVIDIA GB200 Superchip supporta BF16 e FP8?
Risposta
La scheda tecnica completa di NVIDIA GB200 Superchip recita: generazione Blackwell, 384 GB di VRAM HBM3e, 16,000 GB/s di larghezza di banda, 4,500 TFLOPS FP16, 150 TFLOPS FP32, consumo energetico 2,700W, rilasciata in 2024.
La memoria è tipicamente il vincolo per il servizio in tempo reale di modelli grandi — con 384 GB, NVIDIA GB200 Superchip gestisce comodamente transformer di medie dimensioni in FP16 e modelli molto più grandi in FP8/INT8. Il valore 16,000 GB/s è particolarmente importante per la decodifica autoregressiva vincolata alla cache KV, dove la larghezza di banda della memoria limita i token al secondo più del calcolo grezzo.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.