Наскільки добре NVIDIA GeForce RTX 3080 Ti масштабується на кількох GPU?

Відповідь

Основні характеристики продуктивності NVIDIA GeForce RTX 3080 Ti: 34.1 FP16 TFLOPS, 17 FP32 TFLOPS, 912 ГБ/с пропускної здатності, 12 ГБ VRAM.

У практичних бенчмарках: навчання моделі LLM з 7 млрд параметрів у FP16 з розумними розмірами пакетів зазвичай насичує обчислювальні ресурси раніше, ніж пропускну здатність; обслуговування в реальному часі тієї ж моделі зазвичай обмежене пропускною здатністю і відповідає показнику 912 ГБ/с. Бенчмарки генерації зображень методом дифузії розташовуються між цими двома — обчислювальні кроки інтенсивно використовують тензорні ядра, тоді як блоки уваги все ще торкаються пропускної здатності.

See the NVIDIA GeForce RTX 3080 Ti page for the full spec sheet and comparisons to related GPUs.