NVIDIA L40 навантаження, обмежені пам’яттю, проти обчислювальних

Відповідь

Основні характеристики продуктивності NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 ГБ/с пропускної здатності, 48 ГБ VRAM.

У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 864 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.