Насколько хорошо NVIDIA RTX 4500 Ada масштабируется на нескольких GPU?

Ответ

Основные показатели производительности NVIDIA RTX 4500 Ada: 31.7 FP16 TFLOPS, 23.8 FP32 TFLOPS, 432 ГБ/с пропускной способности, 24 ГБ видеопамяти.

В практических бенчмарках: обучение модели LLM с 7 миллиардами параметров в FP16 с разумными размерами пакетов обычно насыщает вычисления раньше, чем пропускную способность; обслуживание в реальном времени той же модели обычно ограничено пропускной способностью и соответствует показателю 432 ГБ/с. Бенчмарки генерации изображений методом диффузии находятся между этими двумя — вычислительно интенсивные этапы хорошо используют тензорные ядра, а блоки внимания всё ещё задействуют пропускную способность.

Full specs, benchmarks, and comparisons are on the NVIDIA RTX 4500 Ada page.