किराए पर लें NVIDIA L40 क्लाउड में

NVIDIA L40 स्पेक शीट का संक्षिप्त संस्करण: 48 जीबी GDDR6, 864 जीबी/सेकंड, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300W।

लंबा संस्करण: कार्ड बड़े टेन्सर्स पर मिश्रित-सटीकता मैट्रिक्स गुणा के लिए ट्यून किया गया है, जो कि ट्रांसफॉर्मर प्रशिक्षण और उत्पादन इन्फेरेंस की आवश्यकता है। बैंडविड्थ पर्याप्त उदार है ताकि ध्यान संचालन पर रुकावट न हो, और VRAM क्षमता आधुनिक मॉडल आकारों को कवर करती है बिना CPU मेमोरी में ऑफलोडिंग की आवश्यकता के।

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

NVIDIA L40 प्रदर्शन शीर्षक: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 GB/s बैंडविड्थ, 48 GB VRAM।

व्यावहारिक बेंचमार्क में परिवर्तित: 7B-पैरामीटर LLM को FP16 में उचित बैच आकारों के साथ मॉडल प्रशिक्षण आमतौर पर बैंडविड्थ से पहले गणना संतृप्त करता है; उसी मॉडल पर वास्तविक समय सेवा आमतौर पर बैंडविड्थ-सीमित होती है और 864 GB/s आंकड़े का अनुसरण करती है। डिफ्यूजन छवि निर्माण बेंचमार्क दोनों के बीच स्थित है — गणना-भारी चरण टेंसर कोर का अच्छा उपयोग करते हैं, जबकि ध्यान ब्लॉक अभी भी बैंडविड्थ को छूते हैं।

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 उन कार्यभारों के लिए सबसे अच्छा है जहाँ इसका 48 GB VRAM और Ada Lovelace टेंसर कोर अच्छी तरह मेल खाते हैं: Inference, video processing, rendering।

यदि आपके कार्यभार को काफी अधिक मेमोरी की आवश्यकता है (जैसे, अग्रणी स्तर के मॉडलों को शुरू से प्रशिक्षण देना), तो NVIDIA L40 छोटा है और आपको H100/H200/B200 वर्ग का कार्ड चाहिए। यदि आपके कार्यभार को कम मेमोरी चाहिए (जैसे, 7B-पैरामीटर मॉडलों पर छोटे पैमाने पर सेवा देना), तो सस्ते कार्ड जैसे L4 या RTX 4090 अधिक किफायती हो सकते हैं। मध्य श्रेणी के लिए, NVIDIA L40 आमतौर पर समझदारी से चुना जाने वाला विकल्प है।

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.