Sewa NVIDIA GB200 Superchip di Awan
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Tiada data harga tersedia lagi untuk model GPU ini. Sila semak semula tidak lama lagi.
Spesifikasi Teknikal NVIDIA GB200 Superchip
Terbaik Untuk
Soalan Lazim
Adakah NVIDIA GB200 Superchip menyokong BF16 dan FP8?
Helaian spesifikasi penuh NVIDIA GB200 Superchip berbunyi: generasi Blackwell, 384 GB VRAM HBM3e, lebar jalur memori 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, penggunaan kuasa 2,700W, dilancarkan pada 2024.
Memori biasanya adalah kekangan untuk perkhidmatan masa nyata model besar — pada 384 GB, NVIDIA GB200 Superchip dengan selesa mengendalikan transformer bersaiz sederhana dalam FP16 dan model lebih besar dalam FP8/INT8. Angka 16,000 GB/s amat penting untuk penyahkodan autoregresif yang terhad oleh cache KV, di mana lebar jalur memori mengehadkan token/saat lebih daripada pengiraan mentah.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Sejauh mana NVIDIA GB200 Superchip boleh diskalakan merentasi pelbagai GPU?
Tajuk prestasi NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s lebar jalur, 384 GB VRAM.
Ditukar kepada penanda aras praktikal: latihan model LLM 7B parameter dalam FP16 dengan saiz kelompok munasabah biasanya menyaturkan pengiraan sebelum lebar jalur; penyajian masa nyata pada model yang sama biasanya terikat lebar jalur dan mengikuti angka 16,000 GB/s. Penanda aras penjanaan imej difusi berada di antara kedua-duanya — langkah berat pengiraan menggunakan teras tensor dengan baik, manakala blok perhatian masih menggunakan lebar jalur.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Kes penggunaan NVIDIA GB200 Superchip — di mana ia menonjol?
NVIDIA GB200 Superchip paling sesuai untuk beban kerja di mana 384 GB VRAM dan Blackwell teras tensornya sepadan dengan baik: Largest-scale AI training, multi-trillion parameter models.
Jika beban kerja anda memerlukan memori yang jauh lebih banyak (contohnya, latihan model frontier dari awal), NVIDIA GB200 Superchip adalah terlalu kecil dan anda perlu kad kelas H100/H200/B200. Jika beban kerja anda memerlukan kurang (contohnya, perkhidmatan skala kecil pada model 7B-parameter), kad yang lebih murah seperti L4 atau RTX 4090 mungkin lebih menjimatkan kos. Untuk julat pertengahan, NVIDIA GB200 Superchip biasanya pilihan yang munasabah.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Bandingkan dengan GPU Lain
Lihat bagaimana NVIDIA GB200 Superchip dibandingkan dengan GPU awan popular lain dari segi spesifikasi, harga, dan ketersediaan.