Наскільки добре NVIDIA RTX 4500 Ada масштабується на кількох GPU?

Відповідь

Основні характеристики продуктивності NVIDIA RTX 4500 Ada: 31.7 FP16 TFLOPS, 23.8 FP32 TFLOPS, 432 ГБ/с пропускної здатності, 24 ГБ VRAM.

У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 432 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.

Full specs, benchmarks, and comparisons are on the NVIDIA RTX 4500 Ada page.