Pronajmout NVIDIA GB200 Superchip v cloudu

Celý specifikační list NVIDIA GB200 Superchip uvádí: generace Blackwell, 384 GB HBM3e VRAM, 16,000 GB/s paměťové propustnosti, 4,500 TFLOPS FP16, 150 TFLOPS FP32, spotřeba energie 2,700W, uvedeno na trh v 2024.

Paměť je obvykle omezením pro real-time serving velkých modelů — při 384 GB NVIDIA GB200 Superchip pohodlně zvládá středně velké transformery ve FP16 a mnohem větší modely ve FP8/INT8. Hodnota 16,000 GB/s je zvláště důležitá pro autoregresivní dekódování omezené KV-cache, kde paměťová propustnost omezuje tokeny za sekundu více než čistý výpočetní výkon.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

Hlavní výkonové parametry NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s propustnost, 384 GB VRAM.

Převedeno do praktických benchmarků: trénink modelu 7B parametrů LLM v FP16 s rozumnými velikostmi dávek obvykle saturuje výpočet před propustností; reálné nasazení na stejném modelu je obvykle omezeno propustností a sleduje hodnotu 16,000 GB/s. Benchmarky generování obrazů difuzí jsou mezi těmito dvěma — výpočetně náročné kroky dobře využívají tensorová jádra, zatímco attention bloky stále zatěžují propustnost.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip je nejlepší pro pracovní zátěže, kde jeho 384 GB VRAM a Blackwell tensor jader jsou dobře sladěny: Largest-scale AI training, multi-trillion parameter models.

Pokud vaše pracovní zátěž vyžaduje výrazně více paměti (např. trénování modelů na hranici možností od začátku), NVIDIA GB200 Superchip je poddimenzovaný a budete chtít kartu třídy H100/H200/B200. Pokud potřebujete méně (např. malé nasazení na modelech s 7 miliardami parametrů), levnější karty jako L4 nebo RTX 4090 mohou být nákladově efektivnější. Pro střední pásmo je obvykle rozumnou volbou NVIDIA GB200 Superchip.

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.