Оренда NVIDIA B200 в хмарі

Оренда хмарного NVIDIA B200 за тарифом on-demand починається від $1.99 за годину (Vultr), при цьому 2 провайдерів конкурують за ставкою, регіоном і якістю підтримки. Spot інстанси на RunPod знижують ціну до $5.98 за годину — приблизно на up to 60% нижче за on-demand — а резервована потужність може знизити ціну ще на up to 40%.

Замість того, щоб оптимізувати лише за погодинною ставкою, враховуйте ймовірність переривань spot, плату за вихідні дані та оплату за секунди, які часто мають більше значення для реальних рахунків NVIDIA B200.

Deploy NVIDIA B200 on Vultr (from $1.99/hr) or RunPod — check live availability and spin up in minutes.

Специфікації NVIDIA B200: 192 ГБ HBM3e пам’яті, 8,000 ГБ/с пропускної здатності, 2,250 TFLOPS FP16, 75 TFLOPS FP32, TDP 1,000 Вт, побудована на Blackwell (випущена 2024).

Для інженерів, що оцінюють карту: обсяг VRAM і пропускна здатність зазвичай є двома показниками, що визначають доцільність використання, тоді як TFLOPS визначають час отримання результату. Пропускна здатність тренування з щільною FP16 точністю майже лінійно масштабується з TFLOPS на добре оптимізованих ядрах, а передтренування змішаної точності може ефективно подвоїти обчислювальну потужність при використанні тензорних ядер.

Two tracked cloud providers currently offer NVIDIA B200: Vultr and RunPod. Vultr has the cheaper rate at $1.99/hr.

NVIDIA B200 забезпечує 2,250 FP16 TFLOPS та 75 FP32 TFLOPS, підтримувані 8,000 ГБ/с пропускної здатності пам’яті та 192 ГБ VRAM. При змішаній точності тонкого налаштування ці показники зазвичай конвертуються у солідну пропускну здатність на щільних моделях до кількох десятків мільярдів параметрів.

Для низькозатримкового висновку реальна кількість токенів за секунду на поширених великих мовних моделях більше залежить від пропускної здатності пам’яті, ніж від пікових FLOPS — показник 8,000 ГБ/с є релевантною межею для автогресивного декодування. Для пакетних навантажень, таких як генерація зображень методом дифузії, знову домінує обчислювальна потужність.

При $1.99 за годину у бюджетного хмарного провайдера продуктивність за долар конкурентна для навантажень, що інтенсивно використовують ШІ.

Two tracked cloud providers currently offer NVIDIA B200: Vultr and RunPod. Vultr has the cheaper rate at $1.99/hr.

Для запуску NVIDIA B200 у вас є 2 хмарних провайдерів на вибір: RunPod, Vultr. Найнижча вартість наразі у Vultr за $1.99 за годину за запитом, а лідер на спотовому ринку — RunPod за $5.98 за годину.

Наш робочий процес рекомендацій: 1) виключити провайдерів без потрібного регіону, відповідності або міжз’єднання; 2) порівняти ціни за запитом серед тих, що залишилися; 3) додати варіанти спотових/резервованих ресурсів для відповідних навантажень; 4) перевірити політики виходу та мінімальних зобов’язань перед підписанням.

Launch a NVIDIA B200 instance on Vultr at $1.99/hr, or try RunPod for alternative regions and availability.

NVIDIA B200 є популярним вибором для Next-gen AI training, large model inference, HPC. З 192 ГБ пам’яті та ефективністю покоління Blackwell, він забезпечує рівень можливостей, що охоплює більшість дослідницьких і виробничих AI-завдань поза межами найбільших моделей передового рівня.

Альтернативи для розгляду: дешевші карти для малих навантажень (L4, T4, RTX 4090), більші карти для навчання передового рівня (H100, H200, B200) та спеціалізовані карти для екстремальних потреб у пам’яті (клас MI300X). Хмарне надання від $1.99 за годину на Vultr.

Vultr offers the cheapest NVIDIA B200 rate at $1.99/hr; RunPod is also available for comparison.