Оренда NVIDIA Tesla T4 в хмарі

Три цінові рівні формують вартість хмарного NVIDIA Tesla T4:

- On-demand — починається від $0.08 за годину на Vast.ai. Гнучкий, без зобов’язань, найкращий для інтерактивної роботи.
- Spot / preemptible — від за годину на (~up to 60% знижка). Підлягає перериванню; найкращий для тренувань з контрольними точками.
- Reserved — ~up to 40% знижка за багатомісячні зобов’язання. Найкращий для стабільного виробничого обслуговування.

Серед 1 провайдерів, яких ми моніторимо, тарифи щотижня змінюються залежно від завантаження потужностей, тому завжди перевіряйте актуальні ціни перед тривалим запуском.

Rent NVIDIA Tesla T4 on Vast.ai from $0.08/hr — check live availability and deploy.

NVIDIA Tesla T4 є 2018 поколінням Turing карти з 16 ГБ GDDR6 пам’яті та 320 ГБ/с пропускної здатності. Пікова обчислювальна потужність становить 65 TFLOPS FP16 та 8.1 TFLOPS FP32; TDP дорівнює 70 Вт.

Поєднання VRAM і пропускної здатності є визначальним для машинного навчання — воно визначає, які розміри моделей доступні і наскільки інтенсивно можна навантажувати карту під час продуктивного інференсу. Споживання енергії та вимоги до охолодження означають, що більшість розгортань NVIDIA Tesla T4 відбуваються в дата-центрах, а не на робочих станціях, саме тому більшість доступу до NVIDIA Tesla T4 на практиці здійснюється через хмару.

Rent NVIDIA Tesla T4 on Vast.ai from $0.08/hr — check live availability and deploy.

Бенчмаркова продуктивність на NVIDIA Tesla T4: 65 TFLOPS у FP16, 8.1 TFLOPS у FP32, 320 ГБ/с пропускної здатності пам’яті, 16 ГБ VRAM.

Для навантажень, які найбільше цікавлять інженерів — навчання моделей сімейства трансформерів, обслуговування LLM із низькою затримкою, запуск дифузійних і візуальних конвеєрів — ці характеристики достатні для підтримки розмірів пакетів, що тримають тензорні ядра зайнятими. Очікуйте приріст продуктивності за годинником у порівнянні з попереднім поколінням карт Turing від 1,5x до 3x залежно від форми навантаження.

Rent NVIDIA Tesla T4 on Vast.ai from $0.08/hr — check live availability and deploy.

Для запуску NVIDIA Tesla T4 у вас є 1 хмарних провайдерів на вибір: Vast.ai. Найнижча вартість наразі у Vast.ai за $0.08 за годину за запитом, а лідер на спотовому ринку — за за годину.

Наш робочий процес рекомендацій: 1) виключити провайдерів без потрібного регіону, відповідності або міжз’єднання; 2) порівняти ціни за запитом серед тих, що залишилися; 3) додати варіанти спотових/резервованих ресурсів для відповідних навантажень; 4) перевірити політики виходу та мінімальних зобов’язань перед підписанням.

The cheapest NVIDIA Tesla T4 cloud access right now is on Vast.ai at $0.08/hr.

NVIDIA Tesla T4 був розроблений для Budget inference, video transcoding, lightweight ML. У хмарних розгортаннях це означає: навчання AI-моделей на масштабі від досліджень до виробництва, тонке налаштування трансформерів, запуск пакетних конвеєрів обслуговування та прискорення дифузійних/візуальних навантажень.

Він розташований у середньому сегменті ринку AI-акселераторів — більш потужний, ніж споживчі карти, більш доступний, ніж акселератори передового рівня. Для більшості команд це саме той рівень: достатньо продуктивності для реальної роботи, достатньо економії для одночасного запуску кількох експериментів. Хмарний доступ від $0.08 за годину через Vast.ai.

Get NVIDIA Tesla T4 on Vast.ai starting at $0.08/hr — live pricing and fast provisioning.