Аренда NVIDIA L40 в облаке

Краткая версия спецификации NVIDIA L40: 48 ГБ GDDR6, 864 ГБ/с, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300 Вт.

Полная версия: карта оптимизирована для матричного умножения с переменной точностью на больших тензорах, что именно требуется для обучения трансформеров и производственного инференса. Пропускная способность достаточно велика, чтобы избежать задержек при операциях внимания, а объём видеопамяти покрывает современные размеры моделей без необходимости выгрузки в память CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Основные показатели производительности NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 ГБ/с пропускной способности, 48 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 864 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 лучше всего подходит для задач, где его 48 ГБ видеопамяти и Ada Lovelace тензорных ядер хорошо сбалансированы: Inference, video processing, rendering.

Если вашей задаче требуется значительно больше памяти (например, обучение передовых моделей с нуля), NVIDIA L40 будет недостаточно, и вам нужна карта класса H100/H200/B200. Если требуется меньше (например, небольшое обслуживание моделей с 7 миллиардами параметров), более дешёвые карты, такие как L4 или RTX 4090, могут быть экономически эффективнее. Для среднего сегмента NVIDIA L40 обычно является разумным выбором.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.