NVIDIA L40 задачи, ограниченные памятью, против задач, ограниченных вычислениями

Ответ

Основные показатели производительности NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 ГБ/с пропускной способности, 48 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 864 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.