Найкращі постачальники хмарних GPU з NVIDIA A40

Що насправді являє собою NVIDIA A40

A40 — це графічний процесор для дата-центрів покоління Ampere, створений на кристалі GA102 — тому ж сімействі кремнію, що й високопродуктивні робочі станції та споживчі карти NVIDIA покоління Ampere. Він належить до професійної лінійки візуалізації NVIDIA, а не до лінійки A100, орієнтованої на обчислення, що визначає все, як його орендують і для чого він підходить. Головна особливість для будь-кого, хто його орендує, — це обсяг пам’яті: A40 має 48 ГБ GDDR6 з ECC, великий обсяг, який дозволяє завантажувати значні моделі та набори даних без необхідності розподілу на кілька GPU.

Оскільки він використовує GDDR6, а не HBM2e, як у A100, його пропускна здатність пам’яті нижча — приблизно сотні ГБ/с замість багатьох терабайтів на секунду, які забезпечують карти з HBM. Ця єдина відмінність є найважливішою при читанні порівняння вище: A40 дає вам великий обсяг VRAM із помірною пропускною здатністю, що є зовсім іншим співвідношенням цінності порівняно з картами HBM, обмеженими пропускною здатністю.

Обчислення та підтримка точності

A40 включає третє покоління тензорних ядер Ampere та друге покоління RT-ядер. Для роботи зі штучним інтелектом підтримуються такі релевантні точності:

• FP16 та BF16 для навчання та висновку зі змішаною точністю з прискоренням тензорними ядрами.
• TF32, тензорний формат Ampere, який прискорює обчислення у стилі FP32 з мінімальними змінами коду.
• INT8 та INT4 для квантизованого високо-продуктивного висновку.
• Підтримка структурної розрідженості, яка може приблизно подвоїти ефективну пропускну здатність тензорних ядер на моделях, навчених використовувати цю можливість.

Чого він не має — це FP8, який з’явився з пізнішим поколінням Hopper (H100) та сімействами Ada і Blackwell. Якщо ваш робочий процес спеціально орієнтований на навчання або висновок з FP8, A40 — не підходяща карта, і вам слід обрати новіше покоління зі списку вище.

Інтерконект, масштабування та енергоспоживання

A40 підключається через PCIe Gen4 і підтримує NVLink для з’єднання пари карт, що може забезпечити спільний пул пам’яті обсягом 96 ГБ для ресурсомістких завдань. Він не масштабується на багато GPU з тією ж щільною NVLink-структурою (NVSwitch), яку використовують SXM-карти A100/H100, тому його краще розглядати як потужну карту для одного або двох GPU, а не як основу для восьмиядерного кластера навчання. Це пасивно охолоджувана серверна плата приблизно класу 300 Вт, що частково пояснює, чому провайдери можуть щільно її розміщувати і пропонувати за привабливими цінами.

Для яких робочих навантажень A40 справді підходить

Профіль A40 — багато VRAM, помірна пропускна здатність, повний набір AI-функцій Ampere, а також справжні RT-ядра — робить його універсальним середньорівневим варіантом для оренди. Він добре підходить для:

• Тонкого налаштування та LoRA/QLoRA середньорозмірних мовних моделей, де 48 ГБ дозволяють зберігати стани оптимізатора і довші послідовності в пам’яті.
• Високопродуктивного пакетного висновку для моделей у діапазоні 7B–34B параметрів (особливо квантизованих), де важливіший обсяг, ніж пікова пропускна здатність.
• Рендерингу, 3D, віртуальних робочих станцій та візуалізації, де RT-ядра і великий буфер кадру безпосередньо корисні — це рідна сфера застосування карти.
• Комп’ютерного зору, генерації зображень дифузійними моделями та загальних експериментів з машинним навчанням, які комфортно поміщаються у 48 ГБ.

Він є надмірним для маленьких моделей або легких розробницьких завдань, де підійде менша, дешевша карта, і недостатньо потужним для передтренування моделей дуже великого масштабу, де потрібна пропускна здатність HBM, FP8 та щільний мульти-GPU інтерконект. Для критично важливого за затримкою реального часу висновку з екстремальним пропуском новіші карти, оптимізовані для висновку, зазвичай виграють за кількістю токенів на секунду на долар, навіть якщо мають менше VRAM.

Оренда A40: контекст вартості та доступності

На ринку оренди A40 зазвичай належить до середнього класу — суттєво дешевший за годину, ніж карти класу A100/H100 з HBM, але дорожчий за початкові споживчі GPU. Його привабливість полягає у вартості за гігабайт VRAM: коли вузьке місце — це розміщення моделі в пам’яті, а не максимальна пропускна здатність, A40 часто є найекономічнішим способом отримати 48 ГБ. Оскільки це зріла, широко розповсюджена карта, її доступність за запитом зазвичай хороша, і вона менш схильна до дефіциту та списків очікування, які характерні для найновіших прискорювачів.

Багато провайдерів також пропонують її на спотових або переривних тарифах зі ще більшою знижкою, що підходить для тонкого налаштування з контрольними точками та пакетних завдань, які допускають перезапуск. Точні тарифи постійно змінюються і залежать від провайдера, регіону та зобов’язань, тому використовуйте наведене вище порівняння для актуальних цін за годину, а не фіксовані цифри — і при порівнянні враховуйте різницю між орендою за запитом і спотовою, деталізацію білінгу та чи пропонується NVLink-з’єднання, якщо вам потрібен спільний пул пам’яті 96 ГБ.

Поширені запитання

Скільки VRAM має NVIDIA A40?

A40 має 48 ГБ пам’яті GDDR6 з ECC. Цей великий обсяг є головною перевагою при оренді, дозволяючи тонко налаштовувати середньорозмірні моделі або запускати квантизований висновок великих моделей на одній карті.

Чи підходить A40 для навчання великих мовних моделей?

Він добре підходить для тонкого налаштування та навчання середньорозмірних моделей завдяки 48 ГБ пам’яті, але не ідеальний для передтренування моделей передового рівня. Для цього потрібна пропускна здатність HBM, підтримка FP8 і щільний мульти-GPU інтерконект, які є у новіших картах Hopper або Blackwell — відфільтруйте список вище, якщо ваша мета — передтренування.

Як A40 порівнюється з A100?

Обидві карти — Ampere, але A100 використовує високошвидкісну пам’ять HBM2e для значно більшої пропускної здатності і підтримує щільне масштабування NVSwitch, що робить її кращою для масштабного навчання. A40 ж обмінює цю пропускну здатність на великий пул 48 ГБ GDDR6 і RT-ядра, а орендується дешевше — кращий вибір, коли важливіші обсяг і вартість, а не максимальна пропускна здатність.

Чи підтримує A40 NVLink для мульти-GPU завдань?

Так, дві карти A40 можна з’єднати через NVLink, щоб отримати спільний пул пам’яті обсягом 96 ГБ, що допомагає для моделей, які не поміщаються на одній карті. Однак він не масштабується на багато GPU з щільною структурою, яку використовують SXM-карти для дата-центрів, тому розглядайте його як оренду для одного або двох GPU.