استئجار NVIDIA L40 في السحابة

النسخة المختصرة من ورقة مواصفات NVIDIA L40: 48 جيجابايت GDDR6، 864 جيجابايت/ثانية، 181 تيرافلوبس FP16، 90.5 تيرافلوبس FP32، Ada Lovelace (2023)، 300 واط.

النسخة الطويلة: تم ضبط البطاقة لأداء ضرب المصفوفات بدقة مختلطة على موترات كبيرة، وهو بالضبط ما يتطلبه تدريب المحولات والاستدلال الإنتاجي. عرض النطاق الترددي كافٍ لتجنب التوقف أثناء عمليات الانتباه، وسعة VRAM تغطي أحجام النماذج الحديثة دون الحاجة إلى تفريغ إلى ذاكرة المعالج.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

عنوان أداء NVIDIA L40: 181 تيرافلوبس FP16، 90.5 تيرافلوبس FP32، 864 جيجابايت/ثانية عرض النطاق الترددي، 48 جيجابايت ذاكرة فيديو.

محول إلى مقاييس عملية: تدريب نموذج LLM بسبعة مليارات معامل بدقة FP16 مع أحجام دفعات معقولة عادةً ما يشبع الحوسبة قبل عرض النطاق؛ الخدمة في الوقت الحقيقي على نفس النموذج عادةً ما تكون مقيدة بعرض النطاق وتتبع الرقم 864 جيجابايت/ثانية. تجلس مقاييس توليد الصور بالانتشار بين الاثنين — الخطوات الثقيلة على الحوسبة تستخدم نوى التنسور جيدًا، بينما لا تزال كتل الانتباه تلمس عرض النطاق.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 هو الأفضل للأحمال التي تتناسب مع ذاكرة الفيديو 48 جيجابايت ونوى التنسور Ada Lovelace الخاصة به: Inference, video processing, rendering.

إذا كان حمل عملك يحتاج إلى ذاكرة أكبر بكثير (مثل تدريب نماذج متقدمة من الصفر)، فإن NVIDIA L40 صغير الحجم وستحتاج إلى بطاقة من فئة H100/H200/B200. وإذا كان حمل عملك يحتاج إلى أقل (مثل تقديم خدمات صغيرة النطاق على نماذج بـ 7 مليارات معلمة)، فقد تكون البطاقات الأرخص مثل L4 أو RTX 4090 أكثر كفاءة من حيث التكلفة. بالنسبة للفئة المتوسطة، عادةً ما يكون NVIDIA L40 الخيار المعقول.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.