Найкращі постачальники хмарних GPU з NVIDIA B300

Що насправді являє собою NVIDIA B300

B300 — це дата-центричний графічний процесор NVIDIA Blackwell Ultra, оновлення середнього циклу, яке розташовується вище за оригінальний B200 у тій самій генерації Blackwell. Він створений для епохи масштабних моделей логічного виведення та інференсу з трильйонами параметрів, і саме цей GPU ви фільтруєте у наведеному вище порівнянні. Коли ви орендуєте інстанс B300, ви орендуєте один із найпотужніших одноакселераторів, доступних сьогодні для виробничого штучного інтелекту, тому варто розуміти, що саме дає це обладнання, перш ніж погоджуватися на погодинну оплату.

Основні показники, які мають значення для орендарів, є конкретними та перевіреними:

• 288 ГБ пам’яті HBM3e на GPU, реалізовані через 12-шарові стеки — приблизно на 50% більше за 192 ГБ у B200.
• Приблизно 8 ТБ/с пропускної здатності пам’яті, що забезпечує живлення дуже великої пам’яті на кристалі під час навантажень із високим використанням уваги та обмеженням пам’яті.
• Приблизно 15 петафлопсів щільних обчислень FP4 на GPU, забезпечуваних 640 ядрами Tensor п’ятого покоління та 20 480 ядрами CUDA.
• Рідна підтримка форматів штучного інтелекту з низькою точністю, включно з FP4, FP8, BF16 та FP16, при цьому друге покоління Transformer Engine обробляє вузькопрофільні точності, на яких базується сучасний інференс.
• Високе енергоспоживання близько 1400 Вт на GPU, через що системи з B300 майже завжди є рідинним охолодженням у стійках, а не окремими картами PCIe.

Інтерконект і масштабування мульти-GPU

Один B300 є потужним, але припускається, що ви рідко використовуєте лише один. Кожен GPU оснащений NVLink п’ятого покоління із загальною пропускною здатністю близько 1,8 ТБ/с, а в конфігурації стійки GB300 NVL72 72 GPU Blackwell Ultra поєднані з 36 процесорами Grace і з’єднані так, що їхня пам’ять HBM3e виступає як єдиний когерентний пул пам’яті через NVLink. Для орендарів практичні наслідки такі:

• Розподілення B300 на кілька GPU та вузлів поводиться не як кластер окремих карт, а як один дуже великий акселератор, що робить можливим обслуговування та навчання величезних моделей.
• Якщо ваша модель охоплює кілька GPU, інтерконект — а не сира продуктивність FLOPS на GPU — часто визначає реальну пропускну здатність, тому варто перевірити, чи пропонує лістинг справжні GPU, з’єднані NVLink, чи просто кілька карт PCIe в одному корпусі.
• 288 ГБ на GPU означають, що багато моделей, які раніше потребували розподілу на кілька карт, тепер можуть поміститися на меншій кількості GPU, що знижує накладні витрати на комунікацію і іноді загальну вартість.

Для яких навантажень B300 справді підходить

B300 спеціально створений для найважчих завдань сучасного ШІ, і його сильні сторони та недоліки досить чіткі.

Де він відзначається

• Інференс великих моделей і моделей логічного виведення: велика ємність HBM3e і пропускна здатність FP4 спеціально налаштовані для обслуговування з довгим контекстом і високою конкуренцією передових і моделей логічного виведення, де домінують продуктивність уваги та запас пам’яті.
• Навчання та донавчання дуже великих моделей: тренування з трильйоном параметрів і навчання зі змішаними експертами виграють від ємності пам’яті, пропускної здатності та масштабування NVLink.
• Інференс із високою пропускною здатністю пакетів: коли можна агресивно пакетувати запити, виконання FP4/FP8 дозволяє B300 обробляти величезні обсяги токенів за долар обчислювального часу.

Де він є надмірним

• Малі або середні моделі, які комфортно поміщаються в 24–80 ГБ VRAM, не зможуть повністю завантажити B300, і ви платитимете преміальні тарифи за ресурси, які не використовуєте.
• Однопотоковий інференс у реальному часі з низьким пакетом для помірної моделі зазвичай краще виконувати на менших, дешевших акселераторах.
• Рендеринг, симуляції та класичні HPC можуть працювати на B300, але якщо завдання не є дійсно пам’ятеємким або не потребує гнучкості точності, більш скромні карти забезпечують кращу вартість.

Контекст оренди: вартість, доступність і дефіцит

Оскільки B300 — це флагманське обладнання поточного покоління, він твердо займає верхній рівень цінового спектра GPU у хмарі — очікуйте, що це буде один із найдорожчих варіантів за годину в наведеному вище списку, значно дорожчий за карти минулого покоління класу Hopper. Точні тарифи постійно змінюються і відрізняються між провайдерами, тому сприймайте живе порівняння вище як джерело істини, а не будь-які цифри, прочитані у тексті.

Декілька реалій оренди варто врахувати у плануванні:

• Дефіцит: нові топові GPU часто мають обмежену ємність. Доступність за запитом може бути обмеженою, і ви можете зіткнутися з вимогами резервування, мінімального зобов’язання або списку очікування замість миттєвого запуску одним кліком.
• Spot проти on-demand: переривчаста або spot-ємність B300, де доступна, може суттєво знизити витрати, але вона більше підходить для навчання з контрольними точками та стійких пакетних завдань, ніж для чутливого до затримок виробничого обслуговування.
• Повна стійка проти часткової: деякі пропозиції — це системи масштабу стійки GB300, орієнтовані на великі кластери, тоді як інші пропонують окремі GPU — підбирайте гранулярність відповідно до вашого фактичного навантаження, щоб не орендувати 72 GPU для обслуговування однієї моделі.
• Супутні характеристики: CPU, системна пам’ять, локальний NVMe та пропускна здатність мережі відрізняються у провайдерів і можуть стати вузьким місцем для інакше швидкого GPU, тому порівнюйте повний інстанс, а не лише маркування GPU.

Часті запитання

Скільки пам’яті має B300 і чому це важливо при оренді?

Кожен B300 має 288 ГБ пам’яті HBM3e з пропускною здатністю близько 8 ТБ/с. Цей великий і швидкий пул пам’яті дозволяє обслуговувати довші контексти та більші моделі на меншій кількості GPU, що безпосередньо знижує кількість інстансів — а отже, і кількість годин, за які потрібно платити.

Чи варто орендувати B300 замість B200 або H100?

Це залежить від масштабу. Для навчання на передовому рівні та інференсу з високою конкуренцією додаткова пам’ять B300, пропускна здатність FP4 і продуктивність уваги виправдовують преміальну ціну. Для менших моделей або помірного обслуговування зазвичай більш економічно вигідними є B200 або H100 класу Hopper, тому порівнюйте погодинні тарифи у таблиці з фактичним розміром вашої моделі.

Чи можна орендувати один B300, чи лише повні системи?

На ринку існують обидва варіанти. Деякі провайдери пропонують окремі GPU, з’єднані NVLink, тоді як інші здають у оренду цілі стійки GB300 NVL72 для великих кластерів. Перевірте гранулярність у лістингу порівняння вище та підтвердіть, чи справді кілька GPU з’єднані NVLink, чи просто розміщені разом на PCIe.

Чи доступна ємність B300 за запитом?

Не завжди. Як флагманське обладнання поточного покоління, він часто користується великим попитом, тому слоти за запитом можуть бути дефіцитними, а доступ іноді базується на резервуванні. Якщо ваше навантаження може переносити переривання, spot або пріоритетна ємність може полегшити як доступність, так і вартість.