Mennyire jól skálázódik a NVIDIA GB200 Superchip több GPU között?

Válasz

NVIDIA GB200 Superchip teljesítményfő adat: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s sávszélesség, 384 GB VRAM.

Gyakorlati mérőszámokra átváltva: egy 7 milliárd paraméteres LLM FP16 tanítása ésszerű tömegméretekkel általában előbb telíti a számítási kapacitást, mint a sávszélességet; ugyanazon modell valós idejű kiszolgálása általában sávszélesség-korlátozott, és követi az 16,000 GB/s értéket. A diffúziós képgenerálás mérőszámai a kettő között helyezkednek el — a számításigényes lépések jól kihasználják a tenzormagokat, míg a figyelem blokkok még mindig érintik a sávszélességet.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.