Umuupa ng NVIDIA GB200 Superchip sa Cloud
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Wala pang datos ng presyo para sa modelong GPU na ito. Bumalik muli sa lalong madaling panahon.
Teknikal na Espesipikasyon ng NVIDIA GB200 Superchip
Pinakamainam Para sa
Mga Madalas na Itanong
Sinusuportahan ba ng NVIDIA GB200 Superchip ang BF16 at FP8?
Ang buong spec sheet ng NVIDIA GB200 Superchip ay naglalaman ng: Blackwell henerasyon, 384 GB ng HBM3e VRAM, 16,000 GB/s memory bandwidth, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W power draw, inilabas noong 2024.
Karaniwan, ang memorya ang limitasyon para sa large-model real-time serving — sa 384 GB, ang NVIDIA GB200 Superchip ay komportableng humawak ng mid-sized transformers sa FP16 at mas malalaking modelo sa FP8/INT8. Ang 16,000 GB/s na numero ay partikular na mahalaga para sa KV-cache-bound autoregressive decoding, kung saan ang memory bandwidth ang naglilimita sa tokens/second higit pa sa raw compute.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Gaano kahusay ang NVIDIA GB200 Superchip sa pag-scale sa maraming GPUs?
Headline ng performance ng NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s bandwidth, 384 GB VRAM.
Kung iko-convert sa praktikal na benchmarks: ang model training ng 7B-parameter LLM sa FP16 na may makatwirang batch sizes ay karaniwang nagsasaturate ng compute bago ang bandwidth; ang real-time serving sa parehong modelo ay karaniwang bandwidth-bound at sumusunod sa 16,000 GB/s na numero. Ang diffusion image generation benchmarks ay nasa pagitan ng dalawa — ang compute-heavy steps ay mahusay na nagagamit ang tensor cores, habang ang attention blocks ay patuloy na gumagamit ng bandwidth.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Mga gamit ng NVIDIA GB200 Superchip — saan ito namumukod-tangi?
NVIDIA GB200 Superchip ay pinakamahusay para sa mga workload kung saan ang 384 GB VRAM at Blackwell tensor cores nito ay mahusay na tugma: Largest-scale AI training, multi-trillion parameter models.
Kung ang iyong workload ay nangangailangan ng mas malaking memorya (halimbawa, training ng frontier-scale models mula sa simula), ang NVIDIA GB200 Superchip ay kulang at mas mainam ang H100/H200/B200 class na card. Kung mas maliit naman ang kailangan (halimbawa, maliit na scale serving sa 7B-parameter models), mas cost-efficient ang mga mas murang card tulad ng L4 o RTX 4090. Para sa gitnang band, karaniwang ang NVIDIA GB200 Superchip ang makatwirang pagpili.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Ihambing sa Ibang GPU
Tingnan kung paano tumitimbang ang NVIDIA GB200 Superchip laban sa iba pang popular na cloud GPUs sa specs, presyo, at availability.