أدلة نماذج GPU

حسب عرض نطاق الذاكرة

عرض نطاق الذاكرة من 1 تيرابايت/ثانية حتى 8 تيرابايت/ثانية — أمر حاسم لخدمة نماذج اللغة الكبيرة المرتبطة بالذاكرة.

في هذه الفئة

تعتمد الأحمال التي تقتصر على الذاكرة (استدلال نماذج اللغة الكبيرة، التدريب على دفعات كبيرة) على عرض النطاق الترددي للبقاء أو الفناء. كل وحدة معالجة…

2 تيرابايت/ثانية+ — المعيار لأداء ذاكرة معجلات الذكاء الاصطناعي الجادة.

3 تيرابايت/ثانية+ — H100، H200، ومعظم وحدات معالجة الرسومات الحديثة من فئة بلاكويل.

5 تيرابايت/ثانية+ — الطبقة النخبوية (H200 و AMD Instinct MI300+).

8 تيرابايت/ثانية أو أكثر — سقف عرض نطاق الذاكرة في وحدات معالجة الرسومات المتوفرة حالياً.