NVIDIA GeForce RTX 4060 Ti задачи, ограниченные памятью, против задач, ограниченных вычислениями

Ответ

Основные показатели производительности NVIDIA GeForce RTX 4060 Ti: 22.1 FP16 TFLOPS, 11 FP32 TFLOPS, 288 ГБ/с пропускной способности, 16 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 288 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

The NVIDIA GeForce RTX 4060 Ti page has the complete datasheet and side-by-side comparisons.