Аренда NVIDIA B100 в облаке

Аппаратное резюме NVIDIA B100: архитектура Blackwell, видеопамять 192 ГБ HBM3e, пропускная способность 8,000 ГБ/с, TFLOPS FP16 1,750, TFLOPS FP32 60, TDP 700 Вт, год 2024.

Эти характеристики однозначно относят NVIDIA B100 к современному поколению ускорителей ИИ. Подходит ли она вам, зависит от того, что является узким местом: ёмкость (видеопамять), пропускная способность (пропускная способность памяти или TFLOPS) или стоимость — все три параметра важнее любой отдельной цифры.

Full specs, benchmarks, and comparisons are on the NVIDIA B100 page.

Проверенная производительность на NVIDIA B100: 1,750 TFLOPS в FP16, 60 TFLOPS в FP32, 8,000 ГБ/с пропускной способности памяти, 192 ГБ видеопамяти.

Для рабочих нагрузок, которые больше всего интересуют инженеров — обучение моделей семейства трансформеров, обслуживание LLM с низкой задержкой, запуск пайплайнов диффузии и визуальных задач — этих характеристик достаточно, чтобы поддерживать размеры пакетов, которые загружают тензорные ядра. Ожидайте прирост времени выполнения по сравнению с картами предыдущего поколения Blackwell от 1,5 до 3 раз в зависимости от характера нагрузки.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.

NVIDIA B100 лучше всего подходит для задач, где его 192 ГБ видеопамяти и Blackwell тензорных ядер хорошо сбалансированы: AI training, large-scale inference.

Если вашей задаче требуется значительно больше памяти (например, обучение передовых моделей с нуля), NVIDIA B100 будет недостаточно, и вам нужна карта класса H100/H200/B200. Если требуется меньше (например, небольшое обслуживание моделей с 7 миллиардами параметров), более дешёвые карты, такие как L4 или RTX 4090, могут быть экономически эффективнее. Для среднего сегмента NVIDIA B100 обычно является разумным выбором.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.