Sewa NVIDIA GB200 Superchip di Cloud
Dual-B200 superchip with Grace CPU. 384GB combined HBM3e for extreme-scale workloads.
Data harga untuk model GPU ini belum tersedia. Cek kembali segera.
Spesifikasi Teknis NVIDIA GB200 Superchip
Terbaik Untuk
Pertanyaan yang Sering Diajukan
Apakah NVIDIA GB200 Superchip mendukung BF16 dan FP8?
Lembar spesifikasi lengkap NVIDIA GB200 Superchip berbunyi: generasi Blackwell, 384 GB VRAM HBM3e, bandwidth memori 16,000 GB/s, TFLOPS FP16 4,500, TFLOPS FP32 150, konsumsi daya 2,700W, dirilis pada 2024.
Memori biasanya menjadi kendala untuk penyajian waktu nyata model besar — pada 384 GB, NVIDIA GB200 Superchip dengan nyaman menangani transformer berukuran sedang dalam FP16 dan model jauh lebih besar dalam FP8/INT8. Angka 16,000 GB/s sangat penting untuk decoding autoregresif yang terikat cache KV, di mana bandwidth memori membatasi token/detik lebih dari komputasi mentah.
Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.
Seberapa baik NVIDIA GB200 Superchip skalanya di beberapa GPU?
Judul performa NVIDIA GB200 Superchip: 4,500 TFLOPS FP16, 150 TFLOPS FP32, 16,000 GB/s bandwidth, 384 GB VRAM.
Dikonversi ke benchmark praktis: pelatihan model LLM 7B parameter dalam FP16 dengan ukuran batch wajar biasanya memaksimalkan komputasi sebelum bandwidth; penyajian waktu nyata pada model yang sama biasanya terikat bandwidth dan mengikuti angka 16,000 GB/s. Benchmark generasi gambar difusi berada di antara keduanya — langkah berat komputasi memanfaatkan tensor core dengan baik, sementara blok perhatian masih menggunakan bandwidth.
See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.
Kasus penggunaan NVIDIA GB200 Superchip — di mana keunggulannya?
NVIDIA GB200 Superchip paling baik untuk beban kerja di mana VRAM 384 GB dan tensor core Blackwell-nya cocok dengan baik: Largest-scale AI training, multi-trillion parameter models.
Jika beban kerja Anda membutuhkan memori yang jauh lebih besar (misalnya, pelatihan model frontier dari awal), NVIDIA GB200 Superchip terlalu kecil dan Anda akan menginginkan kartu kelas H100/H200/B200. Jika beban kerja Anda membutuhkan lebih sedikit (misalnya, penyajian skala kecil pada model 7 miliar parameter), kartu yang lebih murah seperti L4 atau RTX 4090 mungkin lebih efisien secara biaya. Untuk rentang tengah, NVIDIA GB200 Superchip biasanya pilihan yang masuk akal.
Review full specs and related comparisons on the NVIDIA GB200 Superchip page.
Bandingkan dengan GPU Lain
Lihat bagaimana NVIDIA GB200 Superchip dibandingkan dengan GPU cloud populer lainnya dalam spesifikasi, harga, dan ketersediaan.