Támogatja-e NVIDIA GB200 Superchip a BF16 és FP8 formátumokat?

Válasz

A teljes NVIDIA GB200 Superchip specifikáció így szól: Blackwell generáció, 384 GB HBM3e VRAM, 16,000 GB/s memória sávszélesség, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W fogyasztás, megjelent 2024.

A memória általában a korlát a nagy modellek valós idejű kiszolgálásánál — 384 GB-val NVIDIA GB200 Superchip kényelmesen kezeli a közepes méretű transzformereket FP16-ban és sokkal nagyobb modelleket FP8/INT8-ban. A 16,000 GB/s érték különösen fontos a KV-cache-korlátozott autoregresszív dekódolásnál, ahol a memória sávszélesség korlátozza a tokenek/másodperc számát jobban, mint a nyers számítási teljesítmény.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.