Ile obrazów na sekundę może wygenerować NVIDIA B100?

Odpowiedź

Wyniki benchmarków na NVIDIA B100: 1,750 TFLOPS FP16, 60 TFLOPS FP32, 8,000 GB/s przepustowości pamięci, 192 GB pamięci VRAM.

Dla obciążeń, na których zależy większości inżynierów — trening modeli z rodziny transformatorów, obsługa niskoopóźnieniowego wnioskowania LLM, uruchamianie pipeline’ów dyfuzji i wizji — te specyfikacje wystarczają, by utrzymać rozmiary wsadów nasycające rdzenie tensorowe. Oczekuj wzrostów czasu ściennego w porównaniu do kart poprzedniej generacji Blackwell w zakresie od 1,5x do 3x w zależności od charakteru obciążenia.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.