Чи достатня пропускна здатність пам’яті NVIDIA GeForce RTX 4080 SUPER для продуктивного інференсу LLM?

Відповідь

Коротка версія специфікації NVIDIA GeForce RTX 4080 SUPER: 16 ГБ GDDR6X, 736 ГБ/с, 52.4 TFLOPS FP16, 26.2 TFLOPS FP32, Ada Lovelace (2024), 320 Вт.

Довга версія: карта оптимізована для матричного множення змішаної точності на великих тензорах, що саме і потрібно для тренування трансформерів та продуктивного інференсу. Пропускна здатність достатньо велика, щоб уникнути затримок під час операцій уваги, а обсяг VRAM покриває сучасні розміри моделей без необхідності вивантаження в пам’ять CPU.

The NVIDIA GeForce RTX 4080 SUPER page has the complete datasheet and side-by-side comparisons.