NVIDIA GeForce RTX 3080 کیا یہ A100 سے فائن ٹیوننگ کے لیے تیز تر ہے؟

جواب

NVIDIA GeForce RTX 3080 پر خام کمپیوٹ 29.8 FP16 TFLOPS اور 14.9 FP32 TFLOPS پر چوٹی پر ہے، 760 GB/s میموری بینڈوڈتھ کمپیوٹ یونٹس کو فراہم کرتا ہے۔ Ampere آرکیٹیکچر BF16/FP16 / FP8 مخلوط درستگی کے لیے بہتر شدہ ٹینسر کورز لاتا ہے — وہ فارمیٹس جو جدید ٹرانسفارمرز کے لیے سب سے زیادہ اہم ہیں۔

حقیقی دنیا کے ماڈل تربیت کا تھروپٹ بڑے بیچ سائز پر نظریاتی چوٹیوں کے قریب بڑھتا ہے؛ چھوٹے بیچ میموری-محدود ہوتے ہیں۔ کم تاخیر والے انفرنس کے لیے، Llama 70B جیسے ٹرانسفارمرز پر ٹوکنز فی سیکنڈ کوانٹائزیشن حکمت عملی پر بہت منحصر ہوتا ہے — FP8/INT8 کمپیوٹ کی حد کو کھولتے ہیں، FP16 بینڈوڈتھ-محدود ہوتا ہے۔

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.