क्या NVIDIA GeForce RTX 3080 फाइन-ट्यूनिंग के लिए A100 से तेज़ है?

उत्तर

NVIDIA GeForce RTX 3080 पर कच्ची गणना 29.8 FP16 TFLOPS और 14.9 FP32 TFLOPS पर चरम है, 760 GB/s मेमोरी बैंडविड्थ के साथ जो गणना इकाइयों को खिलाता है। Ampere वास्तुकला BF16/FP16 / FP8 मिश्रित सटीकता के लिए अनुकूलित टेंसर कोर लाती है — वे प्रारूप जो आधुनिक ट्रांसफॉर्मरों के लिए सबसे महत्वपूर्ण हैं।

वास्तविक दुनिया के मॉडल प्रशिक्षण थ्रूपुट बड़े बैच आकारों पर सैद्धांतिक चरम के करीब स्केल करता है; छोटे बैच मेमोरी-सीमित होते हैं। कम विलंबता अनुमान के लिए, Llama 70B जैसे ट्रांसफॉर्मरों पर टोकन-प्रति-सेकंड क्वांटाइजेशन रणनीति पर भारी निर्भर करता है — FP8/INT8 गणना सीमा खोलते हैं, FP16 बैंडविड्थ-सीमित होता है।

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.