Оренда NVIDIA B100 в хмарі

Апаратура NVIDIA B100: архітектура Blackwell, VRAM 192 ГБ HBM3e, пропускна здатність 8,000 ГБ/с, FP16 1,750 TFLOPS, FP32 60 TFLOPS, TDP 700 Вт, рік 2024.

Ці характеристики чітко відносять NVIDIA B100 до сучасного покоління прискорювачів ШІ. Чи підходить вона вам, залежить від того, чи є вашим вузьким місцем ємність (VRAM), пропускна здатність (bandwidth або TFLOPS) чи вартість — усі три фактори важливі більше, ніж будь-яке окреме число.

Full specs, benchmarks, and comparisons are on the NVIDIA B100 page.

Бенчмаркова продуктивність на NVIDIA B100: 1,750 TFLOPS у FP16, 60 TFLOPS у FP32, 8,000 ГБ/с пропускної здатності пам’яті, 192 ГБ VRAM.

Для навантажень, які найбільше цікавлять інженерів — навчання моделей сімейства трансформерів, обслуговування LLM із низькою затримкою, запуск дифузійних і візуальних конвеєрів — ці характеристики достатні для підтримки розмірів пакетів, що тримають тензорні ядра зайнятими. Очікуйте приріст продуктивності за годинником у порівнянні з попереднім поколінням карт Blackwell від 1,5x до 3x залежно від форми навантаження.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.

NVIDIA B100 найкраще підходить для робочих навантажень, де його 192 ГБ VRAM та Blackwell тензорних ядер добре збалансовані: AI training, large-scale inference.

Якщо ваші робочі навантаження потребують значно більше пам’яті (наприклад, навчання моделей передового рівня з нуля), NVIDIA B100 є замалим, і вам знадобиться карта класу H100/H200/B200. Якщо потрібно менше (наприклад, обслуговування невеликих моделей на 7 млрд параметрів), дешевші карти, такі як L4 або RTX 4090, можуть бути більш економічними. Для середнього сегмента NVIDIA B100 зазвичай є розумним вибором.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.