NVIDIA L4 একাধিক GPU-তে কত ভাল স্কেল করে?

উত্তর

121 FP16 TFLOPS এবং 300 GB/s মেমোরি ব্যান্ডউইথ NVIDIA L4-কে আধুনিক ট্রান্সফরমার ওয়ার্কলোডের জন্য লক্ষ্যবস্তু অ্যাক্সিলারেটর শ্রেণীতে রাখে। FP32 সর্বোচ্চ 30.3 TFLOPS, যা এখনও বেশিরভাগ নন-AI বৈজ্ঞানিক কম্পিউট আরামদায়কভাবে পরিচালনা করে।

স্ক্র্যাচ থেকে ট্রেনিংয়ের জন্য, টোকেন থ্রুপুট প্রায় FP16 TFLOPS অনুসরণ করে। ফাউন্ডেশন মডেলের প্রোডাকশন ইনফারেন্সে, থ্রুপুট ব্যান্ডউইথ অনুসরণ করে। বাস্তব সংখ্যাগুলো ফ্রেমওয়ার্ক স্ট্যাক (PyTorch, TensorRT-LLM, vLLM) উপর ব্যাপকভাবে নির্ভর করে, এবং কতটা আগ্রাসীভাবে কোয়ান্টাইজ করেন তার ওপর ৩০-৫০% পরিবর্তিত হতে পারে।

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.