Béreljen NVIDIA GB200 Superchip a felhőben
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Még nincs áradat ehhez a GPU modellhez. Kérjük, térjen vissza később.
NVIDIA GB200 Superchip Műszaki Adatok
Legalkalmasabb
Gyakran Ismételt Kérdések
Támogatja-e NVIDIA GB200 Superchip a BF16 és FP8 formátumokat?
A teljes NVIDIA GB200 Superchip specifikáció így szól: Blackwell generáció, 384 GB HBM3e VRAM, 16,000 GB/s memória sávszélesség, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W fogyasztás, megjelent 2024.
A memória általában a korlát a nagy modellek valós idejű kiszolgálásánál — 384 GB-val NVIDIA GB200 Superchip kényelmesen kezeli a közepes méretű transzformereket FP16-ban és sokkal nagyobb modelleket FP8/INT8-ban. A 16,000 GB/s érték különösen fontos a KV-cache-korlátozott autoregresszív dekódolásnál, ahol a memória sávszélesség korlátozza a tokenek/másodperc számát jobban, mint a nyers számítási teljesítmény.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Mennyire jól skálázódik a NVIDIA GB200 Superchip több GPU között?
NVIDIA GB200 Superchip teljesítményfő adat: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s sávszélesség, 384 GB VRAM.
Gyakorlati mérőszámokra átváltva: egy 7 milliárd paraméteres LLM FP16 tanítása ésszerű tömegméretekkel általában előbb telíti a számítási kapacitást, mint a sávszélességet; ugyanazon modell valós idejű kiszolgálása általában sávszélesség-korlátozott, és követi az 16,000 GB/s értéket. A diffúziós képgenerálás mérőszámai a kettő között helyezkednek el — a számításigényes lépések jól kihasználják a tenzormagokat, míg a figyelem blokkok még mindig érintik a sávszélességet.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
NVIDIA GB200 Superchip felhasználási esetek — hol tündököl igazán?
NVIDIA GB200 Superchip leginkább olyan munkaterhelésekhez ideális, ahol a 384 GB VRAM és a Blackwell tensor magok jól illeszkednek: Largest-scale AI training, multi-trillion parameter models.
Ha a munkaterhelése jelentősen több memóriát igényel (például határvonal-szintű modellek tanítása a nulláról), akkor NVIDIA GB200 Superchip túl kicsi, és inkább egy H100/H200/B200 osztályú kártyára lenne szüksége. Ha kevesebbre van szüksége (például kis léptékű kiszolgálás 7 milliárd paraméteres modelleken), akkor olcsóbb kártyák, mint az L4 vagy az RTX 4090, költséghatékonyabbak lehetnek. A középső sávban általában NVIDIA GB200 Superchip a legértelmesebb választás.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Összehasonlítás más GPU-kkal
Nézze meg, hogyan áll NVIDIA GB200 Superchip más népszerű felhő GPU-khoz képest specifikációk, árak és elérhetőség alapján.