Скільки зображень за секунду може генерувати NVIDIA B100?

Відповідь

Бенчмаркова продуктивність на NVIDIA B100: 1,750 TFLOPS у FP16, 60 TFLOPS у FP32, 8,000 ГБ/с пропускної здатності пам’яті, 192 ГБ VRAM.

Для навантажень, які найбільше цікавлять інженерів — навчання моделей сімейства трансформерів, обслуговування LLM із низькою затримкою, запуск дифузійних і візуальних конвеєрів — ці характеристики достатні для підтримки розмірів пакетів, що тримають тензорні ядра зайнятими. Очікуйте приріст продуктивності за годинником у порівнянні з попереднім поколінням карт Blackwell від 1,5x до 3x залежно від форми навантаження.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.