NVIDIA L4 का पीक FP16 प्रदर्शन क्या है?

उत्तर

2023 में रिलीज़, NVIDIA L4 एक Ada Lovelace-क्लास त्वरक है जिसमें 24 जीबी GDDR6, 300 जीबी/सेकंड मेमोरी बैंडविड्थ, और 121 FP16 TFLOPS कंप्यूट है। FP32 चरम पर 30.3 TFLOPS है और कार्ड 72W तक पावर ड्रॉ करता है।

व्यावहारिक रूप से: ~24B-पैरामीटर रेंज में FP16 में मॉडल लोड करने के लिए पर्याप्त VRAM (क्वांटाइजेशन के साथ बड़ा), ध्यान पर मेमोरी-भूखे परतों से बचने के लिए पर्याप्त बैंडविड्थ, और आधुनिक ऑप्टिमाइज़र को संतृप्त करने वाले बैच आकारों पर ट्रांसफॉर्मर प्रशिक्षण के लिए पर्याप्त कंप्यूट।

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.