Închiriază NVIDIA GB200 Superchip în Cloud
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Nu există încă date de preț disponibile pentru acest model GPU. Reveniti curând.
Specificații Tehnice NVIDIA GB200 Superchip
Cel mai potrivit pentru
Întrebări Frecvente
Suportă NVIDIA GB200 Superchip BF16 și FP8?
Fișa tehnică completă NVIDIA GB200 Superchip spune: generația Blackwell, 384 GB de VRAM HBM3e, lățime de bandă a memoriei de 16,000 GB/s, 4,500 TFLOPS FP16, 150 TFLOPS FP32, consum de energie 2,700W, lansat în 2024.
Memoria este de obicei constrângerea pentru servirea în timp real a modelelor mari — la 384 GB, NVIDIA GB200 Superchip gestionează confortabil transformatoare de dimensiuni medii în FP16 și modele mult mai mari în FP8/INT8. Cifra de 16,000 GB/s este deosebit de importantă pentru decodarea autoregresivă limitată de cache-ul KV, unde lățimea de bandă a memoriei limitează tokenii pe secundă mai mult decât calculul brut.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Cât de bine se scalează NVIDIA GB200 Superchip pe mai multe GPU-uri?
Titlul performanței NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s lățime de bandă, 384 GB VRAM.
Convertit în benchmark-uri practice: antrenarea unui LLM de 7 miliarde de parametri în FP16 cu dimensiuni rezonabile de lot tipic saturează calculul înaintea lățimii de bandă; servirea în timp real pe același model este de obicei limitată de bandă și urmează cifra 16,000 GB/s. Benchmark-urile de generare a imaginilor prin difuzie se situează între cele două — pașii care consumă mult calcul utilizează bine nucleele tensor, în timp ce blocurile de atenție ating încă lățimea de bandă.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Cazuri de utilizare NVIDIA GB200 Superchip — unde excelează?
NVIDIA GB200 Superchip este cel mai potrivit pentru sarcini unde 384 GB VRAM și Blackwell nuclee tensoriale sunt bine echilibrate: Largest-scale AI training, multi-trillion parameter models.
Dacă sarcina dumneavoastră necesită mult mai multă memorie (de exemplu, antrenarea modelelor frontieră de la zero), NVIDIA GB200 Superchip este subdimensionat și ar trebui să optați pentru un card din clasa H100/H200/B200. Dacă sarcina necesită mai puțin (de exemplu, servire la scară mică pe modele de 7 miliarde de parametri), carduri mai ieftine precum L4 sau RTX 4090 pot fi mai eficiente din punct de vedere al costurilor. Pentru segmentul mediu, NVIDIA GB200 Superchip este de obicei alegerea rezonabilă.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Compară cu alte GPU-uri
Vezi cum se compară NVIDIA GB200 Superchip cu alte GPU-uri populare din cloud în ceea ce privește specificațiile, prețurile și disponibilitatea.