أفضل وحدات معالجة الرسومات السحابية لخدمة ونشر نماذج اللغة الكبيرة
تتطلب خدمة نماذج اللغة الكبيرة في بيئة الإنتاج وحدات معالجة رسومات (GPU) ذات ذاكرة فيديو كافية (VRAM) لتحميل أوزان النموذج، وعرض نطاق ذاكرة سريع لتوليد الرموز، وبنية تحتية تدعم التوسع التلقائي. تُستخدم أُطُر العمل مثل vLLM وTGI وTensorRT-LLM بشكل شائع لتحسين معدل استدلال نماذج اللغة الكبيرة. تسرد هذه الدليل مزودي وحدات معالجة الرسومات السحابية المناسبين لاستضافة وخدمة نماذج اللغة الكبيرة على نطاق واسع.
لم يتم العثور بعد على مزودي وحدات معالجة الرسوميات المطابقين لهذا الدليل. تحقق لاحقًا.