Kolik obrázků za sekundu může NVIDIA B100 generovat?

Odpověď

Benchmarkovaný výkon NVIDIA B100: 1,750 TFLOPS ve FP16, 60 TFLOPS ve FP32, 8,000 GB/s paměťové propustnosti, 192 GB VRAM.

Pro zátěže, na kterých záleží většině inženýrů — trénink modelů rodiny transformerů, nasazení nízkolatenční inferencí LLM, provoz difuzních a vizuálních pipeline — jsou tyto specifikace dostatečné k udržení velikostí dávek, které udržují tensorová jádra vytížená. Očekávejte zlepšení času oproti předchozím generacím Blackwell karet v rozmezí 1,5x až 3x v závislosti na tvaru zátěže.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.