Насколько хорошо NVIDIA GeForce RTX 4070 Ti масштабируется на нескольких GPU?

Ответ

Основные показатели производительности NVIDIA GeForce RTX 4070 Ti: 40.1 FP16 TFLOPS, 20 FP32 TFLOPS, 504 ГБ/с пропускной способности, 12 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 504 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

Review full specs and related comparisons on the NVIDIA GeForce RTX 4070 Ti page.