Наскільки добре NVIDIA GeForce RTX 3090 Ti масштабується на кількох GPU?

Відповідь

Основні характеристики продуктивності NVIDIA GeForce RTX 3090 Ti: 40 FP16 TFLOPS, 20 FP32 TFLOPS, 1,008 ГБ/с пропускної здатності, 24 ГБ VRAM.

У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 1,008 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3090 Ti page.