Насколько хорошо NVIDIA GeForce RTX 3080 Ti масштабируется на нескольких GPU?

Ответ

Основные показатели производительности NVIDIA GeForce RTX 3080 Ti: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, 912 ГБ/с пропускной способности, 12 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 912 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.