Насколько хорошо NVIDIA GeForce RTX 3090 Ti масштабируется на нескольких GPU?

Ответ

Основные показатели производительности NVIDIA GeForce RTX 3090 Ti: 40 FP16 TFLOPS, 20 FP32 TFLOPS, 1,008 ГБ/с пропускной способности, 24 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 1,008 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.