Сколько изображений в секунду может генерировать NVIDIA B100?

Ответ

Проверенная производительность на NVIDIA B100: 1,750 TFLOPS в FP16, 60 TFLOPS в FP32, 8,000 ГБ/с пропускной способности памяти, 192 ГБ видеопамяти.

Для рабочих нагрузок, которые больше всего интересуют инженеров — обучение моделей семейства трансформеров, обслуживание LLM с низкой задержкой, запуск пайплайнов диффузии и визуальных задач — этих характеристик достаточно, чтобы поддерживать размеры пакетов, которые загружают тензорные ядра. Ожидайте прирост времени выполнения по сравнению с картами предыдущего поколения Blackwell от 1,5 до 3 раз в зависимости от характера нагрузки.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.