Аренда NVIDIA GB200 Superchip в облаке
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Данные о ценах для этой модели GPU пока отсутствуют. Проверьте позже.
Технические характеристики NVIDIA GB200 Superchip
Лучшее для
Часто Задаваемые Вопросы
Поддерживает ли NVIDIA GB200 Superchip BF16 и FP8?
Полный лист спецификаций NVIDIA GB200 Superchip содержит: поколение Blackwell, 384 ГБ HBM3e видеопамяти, пропускную способность памяти 16,000 ГБ/с, 4,500 TFLOPS FP16, 150 TFLOPS FP32, энергопотребление 2,700 Вт, выпущена в 2024.
Память обычно является ограничением для инференса крупных моделей в реальном времени — при 384 ГБ NVIDIA GB200 Superchip с лёгкостью справляется с моделями среднего размера трансформеров в FP16 и значительно большими моделями в FP8/INT8. Показатель пропускной способности 16,000 ГБ/с особенно важен для автогрессивного декодирования с ограничением по KV-кэшу, где пропускная способность памяти ограничивает количество токенов в секунду больше, чем вычислительная мощность.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Насколько хорошо NVIDIA GB200 Superchip масштабируется на нескольких GPU?
Основные показатели производительности NVIDIA GB200 Superchip: 4,500 FP16 TFLOPS, 150 FP32 TFLOPS, 16,000 ГБ/с пропускной способности, 384 ГБ видеопамяти.
В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 16,000 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Случаи использования NVIDIA GB200 Superchip — где он проявляет себя лучше всего?
NVIDIA GB200 Superchip лучше всего подходит для задач, где его 384 ГБ видеопамяти и Blackwell тензорных ядер хорошо сбалансированы: Largest-scale AI training, multi-trillion parameter models.
Если вашей задаче требуется значительно больше памяти (например, обучение передовых моделей с нуля), NVIDIA GB200 Superchip будет недостаточно, и вам нужна карта класса H100/H200/B200. Если требуется меньше (например, небольшое обслуживание моделей с 7 миллиардами параметров), более дешёвые карты, такие как L4 или RTX 4090, могут быть экономически эффективнее. Для среднего сегмента NVIDIA GB200 Superchip обычно является разумным выбором.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Сравнить с другими GPU
Узнайте, как NVIDIA GB200 Superchip сравнивается с другими популярными облачными GPU по характеристикам, ценам и доступности.