Чи достатня пропускна здатність пам’яті NVIDIA L40 для продуктивного інференсу LLM?

Відповідь

Коротка версія специфікації NVIDIA L40: 48 ГБ GDDR6, 864 ГБ/с, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300 Вт.

Довга версія: карта оптимізована для матричного множення змішаної точності на великих тензорах, що саме і потрібно для тренування трансформерів та продуктивного інференсу. Пропускна здатність достатньо велика, щоб уникнути затримок під час операцій уваги, а обсяг VRAM покриває сучасні розміри моделей без необхідності вивантаження в пам’ять CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.