Оренда NVIDIA GB200 Superchip в хмарі
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Дані про ціни для цієї моделі GPU поки відсутні. Перевірте пізніше.
Технічні характеристики NVIDIA GB200 Superchip
Найкраще для
Часті Питання
Чи підтримує NVIDIA GB200 Superchip BF16 та FP8?
Повний специфікаційний лист NVIDIA GB200 Superchip читається так: покоління Blackwell, 384 ГБ HBM3e VRAM, пропускна здатність пам’яті 16,000 ГБ/с, 4,500 TFLOPS FP16, 150 TFLOPS FP32, споживання енергії 2,700 Вт, випущена в 2024.
Пам’ять зазвичай є обмеженням для інференсу великих моделей у реальному часі — при 384 ГБ NVIDIA GB200 Superchip комфортно обробляє середні трансформери у FP16 та значно більші моделі у FP8/INT8. Показник 16,000 ГБ/с особливо важливий для автогресивного декодування, обмеженого кешем KV, де пропускна здатність пам’яті обмежує кількість токенів за секунду більше, ніж сирі обчислення.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Наскільки добре NVIDIA GB200 Superchip масштабується на кількох GPU?
Основні характеристики продуктивності NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 ГБ/с пропускної здатності, 384 ГБ VRAM.
У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 16,000 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Випадки використання NVIDIA GB200 Superchip — де він найкраще проявляє себе?
NVIDIA GB200 Superchip найкраще підходить для робочих навантажень, де його 384 ГБ VRAM та Blackwell тензорних ядер добре збалансовані: Largest-scale AI training, multi-trillion parameter models.
Якщо ваші робочі навантаження потребують значно більше пам’яті (наприклад, навчання моделей передового рівня з нуля), NVIDIA GB200 Superchip є замалим, і вам знадобиться карта класу H100/H200/B200. Якщо потрібно менше (наприклад, обслуговування невеликих моделей на 7 млрд параметрів), дешевші карти, такі як L4 або RTX 4090, можуть бути більш економічними. Для середнього сегмента NVIDIA GB200 Superchip зазвичай є розумним вибором.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Порівняти з іншими GPU
Дізнайтеся, як NVIDIA GB200 Superchip виглядає на фоні інших популярних хмарних GPU за характеристиками, цінами та доступністю.