NVIDIA GB200 Superchip suporta BF16 e FP8?

Resposta

A ficha técnica completa NVIDIA GB200 Superchip diz: geração Blackwell, 384 GB de VRAM HBM3e, largura de banda de memória de 16,000 GB/s, 4,500 TFLOPS FP16, 150 TFLOPS FP32, consumo de energia de 2,700W, lançado em 2024.

A memória é tipicamente a restrição para atendimento em tempo real de modelos grandes — com 384 GB, NVIDIA GB200 Superchip lida confortavelmente com transformadores de tamanho médio em FP16 e modelos muito maiores em FP8/INT8. O número 16,000 GB/s é particularmente importante para decodificação autoregressiva limitada por cache KV, onde a largura de banda da memória limita tokens por segundo mais que a computação bruta.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.