Оренда NVIDIA L40 в хмарі

Коротка версія специфікації NVIDIA L40: 48 ГБ GDDR6, 864 ГБ/с, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300 Вт.

Довга версія: карта оптимізована для матричного множення змішаної точності на великих тензорах, що саме і потрібно для тренування трансформерів та продуктивного інференсу. Пропускна здатність достатньо велика, щоб уникнути затримок під час операцій уваги, а обсяг VRAM покриває сучасні розміри моделей без необхідності вивантаження в пам’ять CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Основні характеристики продуктивності NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 ГБ/с пропускної здатності, 48 ГБ VRAM.

У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 864 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 найкраще підходить для робочих навантажень, де його 48 ГБ VRAM та Ada Lovelace тензорних ядер добре збалансовані: Inference, video processing, rendering.

Якщо ваші робочі навантаження потребують значно більше пам’яті (наприклад, навчання моделей передового рівня з нуля), NVIDIA L40 є замалим, і вам знадобиться карта класу H100/H200/B200. Якщо потрібно менше (наприклад, обслуговування невеликих моделей на 7 млрд параметрів), дешевші карти, такі як L4 або RTX 4090, можуть бути більш економічними. Для середнього сегмента NVIDIA L40 зазвичай є розумним вибором.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.