Pronajmout NVIDIA B100 v cloudu

Shrnutí hardwaru pro NVIDIA B100: architektura Blackwell, VRAM 192 GB HBM3e, propustnost 8,000 GB/s, FP16 1,750 TFLOPS, FP32 60 TFLOPS, TDP 700W, rok 2024.

Tyto specifikace řadí NVIDIA B100 pevně do moderní generace AI akcelerátorů. Zda je to správná volba, závisí na tom, zda je vaším úzkým hrdlem kapacita (VRAM), průchodnost (propustnost nebo TFLOPS) nebo cena — všechny tři faktory jsou důležitější než jakékoliv jednotlivé číslo.

Full specs, benchmarks, and comparisons are on the NVIDIA B100 page.

Benchmarkovaný výkon NVIDIA B100: 1,750 TFLOPS ve FP16, 60 TFLOPS ve FP32, 8,000 GB/s paměťové propustnosti, 192 GB VRAM.

Pro zátěže, na kterých záleží většině inženýrů — trénink modelů rodiny transformerů, nasazení nízkolatenční inferencí LLM, provoz difuzních a vizuálních pipeline — jsou tyto specifikace dostatečné k udržení velikostí dávek, které udržují tensorová jádra vytížená. Očekávejte zlepšení času oproti předchozím generacím Blackwell karet v rozmezí 1,5x až 3x v závislosti na tvaru zátěže.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.

NVIDIA B100 je nejlepší pro pracovní zátěže, kde jeho 192 GB VRAM a Blackwell tensor jader jsou dobře sladěny: AI training, large-scale inference.

Pokud vaše pracovní zátěž vyžaduje výrazně více paměti (např. trénování modelů na hranici možností od začátku), NVIDIA B100 je poddimenzovaný a budete chtít kartu třídy H100/H200/B200. Pokud potřebujete méně (např. malé nasazení na modelech s 7 miliardami parametrů), levnější karty jako L4 nebo RTX 4090 mohou být nákladově efektivnější. Pro střední pásmo je obvykle rozumnou volbou NVIDIA B100.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.