NVIDIA A10G का टेन्सर कोर प्रदर्शन

उत्तर

NVIDIA A10G एक Ampere कार्ड है जो 70 FP16 TFLOPS और 35 FP32 TFLOPS के साथ 600 GB/s मेमोरी बैंडविड्थ प्रदान करता है। यह आधुनिक मॉडल प्रशिक्षण और वास्तविक समय सेवा कार्यभारों को गंभीर पैमाने पर संभालने के लिए पर्याप्त गणना है।

बेंचमार्क दिखाते हैं कि NVIDIA A10G विशेष रूप से ट्रांसफॉर्मर-शैली के मॉडलों पर अच्छा प्रदर्शन करता है जहां टेंसर कोर बड़े मैटमुल्स द्वारा संतृप्त होते हैं। डिफ्यूजन मॉडल, भाषण, और दृष्टि कार्यभार भी पुराने पीढ़ियों की तुलना में मजबूत गति बढ़ोतरी देखते हैं। विलंबता-संवेदनशील उत्पादन वास्तविक समय सेवा के लिए, NVIDIA A10G आमतौर पर बड़े भाषा मॉडलों पर लक्ष्य टोकन-प्रति-सेकंड दरों को 30-50 टोक/सेकंड सीमा से ऊपर अच्छी तरह से प्राप्त करता है।

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.