Huur NVIDIA GB200 Superchip in de Cloud
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Nog geen prijsgegevens beschikbaar voor dit GPU-model. Kom binnenkort terug.
NVIDIA GB200 Superchip Technische Specificaties
Beste Voor
Veelgestelde Vragen
Ondersteunt NVIDIA GB200 Superchip BF16 en FP8?
Het volledige NVIDIA GB200 Superchip specificatieblad luidt: Blackwell generatie, 384 GB HBM3e VRAM, 16,000 GB/s geheugenbandbreedte, 4,500 TFLOPS FP16, 150 TFLOPS FP32, 2,700W vermogen, uitgebracht in 2024.
Geheugen is doorgaans de beperking voor real-time serving van grote modellen — met 384 GB kan NVIDIA GB200 Superchip moeiteloos middelgrote transformers aan in FP16 en veel grotere modellen in FP8/INT8. Het 16,000 GB/s cijfer is bijzonder belangrijk voor KV-cache-beperkte autoregressieve decoding, waarbij geheugenbandbreedte het aantal tokens per seconde meer beperkt dan pure rekenkracht.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Hoe goed schaalt NVIDIA GB200 Superchip over meerdere GPU's?
NVIDIA GB200 Superchip prestatiehoogtepunt: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 GB/s bandbreedte, 384 GB VRAM.
Omgezet in praktische benchmarks: modeltraining van een 7B-parameter LLM in FP16 met redelijke batchgroottes verzadigt meestal eerst de rekenkracht voor de bandbreedte; real-time serving op hetzelfde model is meestal bandbreedte-beperkt en volgt de 16,000 GB/s waarde. Diffusie beeldgeneratie benchmarks zitten tussen beide in — rekenintensieve stappen benutten tensor cores goed, terwijl attention blokken nog steeds bandbreedte gebruiken.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
NVIDIA GB200 Superchip gebruikssituaties — waar blinkt het in uit?
NVIDIA GB200 Superchip is het beste voor workloads waarbij zijn 384 GB VRAM en Blackwell tensor cores goed op elkaar zijn afgestemd: Largest-scale AI training, multi-trillion parameter models.
Als uw workload aanzienlijk meer geheugen nodig heeft (bijv. training van grensverleggende modellen vanaf nul), is NVIDIA GB200 Superchip te klein en wilt u een kaart van het H100/H200/B200-klasse. Als uw workload minder nodig heeft (bijv. kleinschalige serving op 7 miljard parameters modellen), kunnen goedkopere kaarten zoals L4 of RTX 4090 kostenefficiënter zijn. Voor het middensegment is NVIDIA GB200 Superchip meestal de verstandige keuze.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Vergelijk met andere GPUs
Bekijk hoe NVIDIA GB200 Superchip zich verhoudt tot andere populaire cloud-GPU's qua specificaties, prijzen en beschikbaarheid.