NVIDIA GB200 SuperchipはBF16とFP8をサポートしていますか？

回答

完全なNVIDIA GB200 Superchip仕様書：Blackwell世代、384 GBのHBM3e VRAM、16,000 GB/sのメモリ帯域幅、FP16演算性能4,500 TFLOPS、FP32演算性能150 TFLOPS、消費電力2,700W、2024に発売。

メモリは大規模モデルのリアルタイムサービスにおける制約要因であり、384 GBでNVIDIA GB200 SuperchipはFP16で中規模トランスフォーマーを快適に扱い、FP8/INT8ではさらに大きなモデルも可能です。16,000 GB/sの帯域幅は、KVキャッシュ制約の自己回帰デコーディングで特に重要で、メモリ帯域幅がトークン毎秒を生の演算性能より制限します。

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.