Sewa NVIDIA B100 di Awan

Ringkasan perkakasan untuk NVIDIA B100: seni bina Blackwell, VRAM 192 GB HBM3e, lebar jalur 8,000 GB/s, FP16 1,750 TFLOPS, FP32 60 TFLOPS, TDP 700W, tahun 2024.

Spesifikasi ini meletakkan NVIDIA B100 dengan kukuh dalam generasi pemecut AI moden. Sama ada ia sesuai bergantung pada sama ada halangan anda adalah kapasiti (VRAM), kelajuan (lebar jalur atau TFLOPS), atau kos — ketiga-tiga perkara ini lebih penting daripada mana-mana angka utama tunggal.

Full specs, benchmarks, and comparisons are on the NVIDIA B100 page.

Prestasi penanda aras pada NVIDIA B100: 1,750 TFLOPS dalam FP16, 60 TFLOPS dalam FP32, 8,000 GB/s lebar jalur memori, 192 GB VRAM.

Untuk beban kerja yang paling penting bagi jurutera — latihan model keluarga transformer, penyajian inferens LLM berlatensi rendah, menjalankan saluran difusi dan visi — spesifikasi itu cukup untuk mengekalkan saiz kelompok yang memastikan teras tensor sibuk. Jangkaan peningkatan masa jam dinding berbanding kad Blackwell generasi sebelumnya adalah antara 1.5x hingga 3x bergantung pada bentuk beban kerja.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.

NVIDIA B100 paling sesuai untuk beban kerja di mana 192 GB VRAM dan Blackwell teras tensornya sepadan dengan baik: AI training, large-scale inference.

Jika beban kerja anda memerlukan memori yang jauh lebih banyak (contohnya, latihan model frontier dari awal), NVIDIA B100 adalah terlalu kecil dan anda perlu kad kelas H100/H200/B200. Jika beban kerja anda memerlukan kurang (contohnya, perkhidmatan skala kecil pada model 7B-parameter), kad yang lebih murah seperti L4 atau RTX 4090 mungkin lebih menjimatkan kos. Untuk julat pertengahan, NVIDIA B100 biasanya pilihan yang munasabah.

See the NVIDIA B100 page for the full spec sheet and comparisons to related GPUs.