کرایہ پر لیں NVIDIA L40 کلاؤڈ میں

NVIDIA L40 کے اسپیک شیٹ کا مختصر ورژن: 48 جی بی GDDR6، 864 جی بی/سیکنڈ، 181 FP16 TFLOPS، 90.5 FP32 TFLOPS، Ada Lovelace (2023), 300 واٹ۔

طویل ورژن: کارڈ بڑے ٹینسرز پر مکسڈ-پریسیژن میٹرکس ملٹیپلیکیشن کے لیے ٹیون کیا گیا ہے، جو بالکل وہی ہے جو ٹرانسفارمر ٹریننگ اور پروڈکشن انفیرنس کا تقاضہ کرتے ہیں۔ بینڈوڈتھ اتنی فراخدلی سے ہے کہ اٹینشن آپریشنز پر سٹالنگ سے بچا جا سکے، اور وی آر اے ایم کی گنجائش جدید ماڈل سائزز کو کور کرتی ہے بغیر سی پی یو میموری پر آف لوڈنگ کی ضرورت کے۔

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

NVIDIA L40 کی کارکردگی کا سرنامہ: 181 FP16 TFLOPS، 90.5 FP32 TFLOPS، 864 GB/s بینڈوڈتھ، 48 GB VRAM۔

عملی بینچ مارکس میں تبدیل: 7B پیرامیٹر LLM کی FP16 میں ماڈل تربیت معقول بیچ سائز کے ساتھ عام طور پر بینڈوڈتھ سے پہلے کمپیوٹ کو سیر کرتی ہے؛ اسی ماڈل پر حقیقی وقت کی سروس عام طور پر بینڈوڈتھ-محدود ہوتی ہے اور 864 GB/s کے عدد کے مطابق ہوتی ہے۔ ڈفیوزن امیج جنریشن کے بینچ مارکس دونوں کے درمیان ہوتے ہیں — کمپیوٹ بھاری مراحل ٹینسر کورز کو اچھی طرح استعمال کرتے ہیں، جبکہ اٹینشن بلاکس اب بھی بینڈوڈتھ کو چھوتے ہیں۔

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 ان ورک لوڈز کے لیے بہترین ہے جہاں اس کی 48 GB VRAM اور Ada Lovelace ٹینسر کورز اچھی طرح میل کھاتے ہیں: Inference, video processing, rendering۔

اگر آپ کے ورک لوڈ کو نمایاں طور پر زیادہ میموری کی ضرورت ہے (مثلاً، فرنٹیئر اسکیل ماڈلز کو ابتدا سے تربیت دینا)، تو NVIDIA L40 چھوٹا ہے اور آپ کو H100/H200/B200 کلاس کارڈ چاہیے ہوگا۔ اگر آپ کے ورک لوڈ کو کم میموری چاہیے (مثلاً، 7B-پیرا میٹر ماڈلز پر چھوٹے پیمانے پر سروسنگ)، تو سستے کارڈز جیسے L4 یا RTX 4090 زیادہ اقتصادی ہو سکتے ہیں۔ درمیانے بینڈ کے لیے، NVIDIA L40 عام طور پر معقول انتخاب ہوتا ہے۔

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.