استئجار NVIDIA GB200 Superchip في السحابة

تقرأ ورقة مواصفات NVIDIA GB200 Superchip الكاملة: الجيل Blackwell، 384 جيجابايت من ذاكرة VRAM HBM3e، عرض نطاق ترددي للذاكرة 16,000 جيجابايت/ثانية، 4,500 تيرافلوبس FP16، 150 تيرافلوبس FP32، استهلاك طاقة 2,700 واط، أُطلقت في 2024.

عادةً ما تكون الذاكرة هي القيد في الاستدلال الفوري للنماذج الكبيرة — عند 384 جيجابايت، تتعامل NVIDIA GB200 Superchip بسهولة مع محولات متوسطة الحجم بدقة FP16 ونماذج أكبر بكثير بدقة FP8/INT8. رقم 16,000 جيجابايت/ثانية مهم بشكل خاص لفك الترميز التوليدي المقيد بذاكرة KV-cache، حيث يحد عرض النطاق الترددي للذاكرة عدد الرموز في الثانية أكثر من الحوسبة الخام.

Full specs, benchmarks, and comparisons are on the NVIDIA GB200 Superchip page.

عنوان أداء NVIDIA GB200 Superchip: 4,500 تيرافلوبس FP16، 150 تيرافلوبس FP32، 16,000 جيجابايت/ثانية عرض النطاق الترددي، 384 جيجابايت ذاكرة فيديو.

محول إلى مقاييس عملية: تدريب نموذج LLM بسبعة مليارات معامل بدقة FP16 مع أحجام دفعات معقولة عادةً ما يشبع الحوسبة قبل عرض النطاق؛ الخدمة في الوقت الحقيقي على نفس النموذج عادةً ما تكون مقيدة بعرض النطاق وتتبع الرقم 16,000 جيجابايت/ثانية. تجلس مقاييس توليد الصور بالانتشار بين الاثنين — الخطوات الثقيلة على الحوسبة تستخدم نوى التنسور جيدًا، بينما لا تزال كتل الانتباه تلمس عرض النطاق.

See the NVIDIA GB200 Superchip page for the full spec sheet and comparisons to related GPUs.

NVIDIA GB200 Superchip هو الأفضل للأحمال التي تتناسب مع ذاكرة الفيديو 384 جيجابايت ونوى التنسور Blackwell الخاصة به: Largest-scale AI training, multi-trillion parameter models.

إذا كان حمل عملك يحتاج إلى ذاكرة أكبر بكثير (مثل تدريب نماذج متقدمة من الصفر)، فإن NVIDIA GB200 Superchip صغير الحجم وستحتاج إلى بطاقة من فئة H100/H200/B200. وإذا كان حمل عملك يحتاج إلى أقل (مثل تقديم خدمات صغيرة النطاق على نماذج بـ 7 مليارات معلمة)، فقد تكون البطاقات الأرخص مثل L4 أو RTX 4090 أكثر كفاءة من حيث التكلفة. بالنسبة للفئة المتوسطة، عادةً ما يكون NVIDIA GB200 Superchip الخيار المعقول.

Review full specs and related comparisons on the NVIDIA GB200 Superchip page.