Сколько изображений в секунду может генерировать NVIDIA RTX 5000 Ada?

Ответ

Проверенная производительность на NVIDIA RTX 5000 Ada: 45.3 TFLOPS в FP16, 22.6 TFLOPS в FP32, 576 ГБ/с пропускной способности памяти, 32 ГБ видеопамяти.

Для рабочих нагрузок, которые больше всего интересуют инженеров — обучение моделей семейства трансформеров, обслуживание LLM с низкой задержкой, запуск пайплайнов диффузии и визуальных задач — этих характеристик достаточно, чтобы поддерживать размеры пакетов, которые загружают тензорные ядра. Ожидайте прирост времени выполнения по сравнению с картами предыдущего поколения Ada Lovelace от 1,5 до 3 раз в зависимости от характера нагрузки.

Review full specs and related comparisons on the NVIDIA RTX 5000 Ada page.