Оренда NVIDIA L4 в хмарі

Найкраща ціна на хмарний NVIDIA L4 тариф, яку ми відстежуємо, становить $0.39 за годину на RunPod. Ця ціна відображає оплату за запитом; провайдери, які підтримують spot/preemptible інстанси, знижують ціну до за годину — економія близько up to 60% для робочих навантажень, що можуть терпіти переривання.

Якщо ви можете взяти на себе зобов’язання щодо резервної потужності, очікуйте додаткову знижку up to 40%. Для випадкових експериментів рекомендуємо оплату за запитом; для багатоденного попереднього тренування бюджетуйте суміш spot і on-demand. Годинні котирування можуть змінюватися щотижня через конкуренцію провайдерів, тому перед тривалим запуском перевіряйте актуальну таблицю.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Випущена в 2023, NVIDIA L4 є прискорювачем класу Ada Lovelace з 24 ГБ GDDR6, пропускною здатністю пам’яті 300 ГБ/с і обчислювальною потужністю 121 TFLOPS FP16. Пікова потужність FP32 становить 30.3 TFLOPS, а карта споживає до 72 Вт.

Практично це означає: достатньо VRAM для завантаження моделей у діапазоні приблизно 24 мільярдів параметрів у FP16 (більше з квантизацією), достатньо пропускної здатності, щоб уникнути голодування пам’яті в шарах уваги, і достатньо обчислень для тренування трансформерів з розмірами пакетів, що насичують сучасні оптимізатори.

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.

121 FP16 TFLOPS і 300 ГБ/с пропускної здатності пам’яті ставлять NVIDIA L4 чітко в клас прискорювачів, орієнтованих на сучасні трансформерні навантаження. FP32 досягає максимуму в 30.3 TFLOPS, що все ще комфортно обробляє більшість наукових обчислень без ШІ.

Для навчання з нуля пропускна здатність токенів приблизно корелює з FP16 TFLOPS. Для продуктивного висновку на фундаментальних моделях пропускна здатність корелює з пропускною здатністю пам’яті. Реальні показники сильно залежать від стеку фреймворків (PyTorch, TensorRT-LLM, vLLM) і можуть варіюватися на 30-50% залежно від ступеня квантизації.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Якщо ви шукаєте потужності NVIDIA L4, ось карта: RunPod. Серед 1 відстежуваних провайдерів найнижча вартість за запитом у RunPod — $0.39 за годину; найнижча спотова вартість у — за годину.

Вибір провайдера визначається випадками використання. Короткі експериментальні запуски найкраще підходять для провайдерів з оплатою за секунду. Довгі тренування виграють від резервованих потужностей у bare-metal провайдерів. Продуктивні сервіси inference віддають перевагу провайдерам із глобальною регіональною присутністю та корпоративними SLA.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 найкраще підходить для робочих навантажень, де його 24 ГБ VRAM та Ada Lovelace тензорних ядер добре збалансовані: Inference, video transcoding, lightweight AI workloads.

Якщо ваші робочі навантаження потребують значно більше пам’яті (наприклад, навчання моделей передового рівня з нуля), NVIDIA L4 є замалим, і вам знадобиться карта класу H100/H200/B200. Якщо потрібно менше (наприклад, обслуговування невеликих моделей на 7 млрд параметрів), дешевші карти, такі як L4 або RTX 4090, можуть бути більш економічними. Для середнього сегмента NVIDIA L4 зазвичай є розумним вибором.

Rent NVIDIA L4 on RunPod from $0.39/hr — check live availability and deploy.