Wypożycz NVIDIA GB200 Superchip w chmurze
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Brak danych cenowych dla tego modelu GPU. Sprawdź ponownie wkrótce.
Specyfikacje techniczne NVIDIA GB200 Superchip
Najlepsze do
Najczęściej Zadawane Pytania
Czy NVIDIA GB200 Superchip obsługuje BF16 i FP8?
Pełna specyfikacja NVIDIA GB200 Superchip brzmi: generacja Blackwell, 384 GB pamięci VRAM HBM3e, przepustowość pamięci 16,000 GB/s, 4,500 TFLOPS FP16, 150 TFLOPS FP32, pobór mocy 2,700W, wydana w 2024.
Pamięć jest zwykle ograniczeniem dla obsługi modeli dużych w czasie rzeczywistym — przy 384 GB, NVIDIA GB200 Superchip z łatwością obsługuje średniej wielkości transformatory w FP16 oraz znacznie większe modele w FP8/INT8. Wartość 16,000 GB/s jest szczególnie ważna dla dekodowania autoregresyjnego ograniczonego przez pamięć KV-cache, gdzie przepustowość pamięci ogranicza liczbę tokenów na sekundę bardziej niż surowa moc obliczeniowa.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Jak dobrze NVIDIA GB200 Superchip skaluje się na wielu GPU?
Nagłówek wydajności NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s przepustowości, 384 GB pamięci VRAM.
Przekładając na praktyczne benchmarki: trening modelu LLM o 7 miliardach parametrów w FP16 z rozsądnymi rozmiarami wsadów zazwyczaj nasyca moc obliczeniową przed przepustowością; obsługa w czasie rzeczywistym tego samego modelu jest zwykle ograniczona przepustowością i odpowiada wartości 16,000 GB/s. Benchmarki generowania obrazów metodą dyfuzji plasują się pomiędzy tymi dwoma — etapy intensywnie obliczeniowe dobrze wykorzystują rdzenie tensorowe, podczas gdy bloki uwagi nadal korzystają z przepustowości.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Zastosowania NVIDIA GB200 Superchip — w czym się wyróżnia?
NVIDIA GB200 Superchip jest najlepszy do zadań, gdzie jego 384 GB VRAM i Blackwell tensor cores są dobrze dopasowane: Largest-scale AI training, multi-trillion parameter models.
Jeśli Twoje zadanie wymaga znacznie więcej pamięci (np. trening modeli frontier od podstaw), NVIDIA GB200 Superchip jest za mały i lepiej wybrać kartę klasy H100/H200/B200. Jeśli potrzebujesz mniej (np. małoskalowa obsługa modeli 7-miliardowych parametrów), tańsze karty jak L4 lub RTX 4090 mogą być bardziej opłacalne. Dla średniej półki, NVIDIA GB200 Superchip jest zwykle rozsądnym wyborem.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Porównaj z innymi GPU
Zobacz, jak NVIDIA GB200 Superchip wypada na tle innych popularnych GPU w chmurze pod względem specyfikacji, cen i dostępności.