ভাড়া নিন NVIDIA L40 ক্লাউডে

NVIDIA L40 স্পেস শিটের সংক্ষিপ্ত সংস্করণ: 48 জিবি GDDR6, 864 জিবি/সেকেন্ড, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300 ওয়াট।

দীর্ঘ সংস্করণ: কার্ডটি বড় টেনসরগুলিতে মিক্সড-প্রিসিশন ম্যাট্রিক্স গুণনের জন্য টিউন করা হয়েছে, যা ট্রান্সফর্মার ট্রেনিং এবং উৎপাদন ইনফারেন্সের জন্য প্রয়োজন। ব্যান্ডউইথ যথেষ্ট উদার যাতে অ্যাটেনশন অপারেশনগুলোতে স্টলিং না হয়, এবং ভিআরএএম ক্ষমতা আধুনিক মডেল সাইজ কভার করে CPU মেমোরিতে অফলোডিং ছাড়াই।

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

NVIDIA L40 কর্মক্ষমতা শিরোনাম: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 GB/s ব্যান্ডউইথ, 48 GB VRAM।

বাস্তব বেঞ্চমার্কে রূপান্তরিত: ৭ বিলিয়ন প্যারামিটার LLM মডেল FP16-এ যুক্তিসঙ্গত ব্যাচ সাইজে ট্রেনিং সাধারণত ব্যান্ডউইথের আগে কম্পিউট স্যাচুরেট করে; একই মডেলে রিয়েল-টাইম সার্ভিং সাধারণত ব্যান্ডউইথ-সীমাবদ্ধ এবং 864 GB/s সংখ্যাকে অনুসরণ করে। ডিফিউশন ইমেজ জেনারেশনের বেঞ্চমার্ক দুইটির মধ্যে থাকে — কম্পিউট-ভারী ধাপগুলি টেনসর কোর ভালোভাবে ব্যবহার করে, যখন অ্যাটেনশন ব্লকগুলো এখনও ব্যান্ডউইথে স্পর্শ করে।

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 সেরা যেখানে এর 48 GB VRAM এবং Ada Lovelace টেনসর কোর ভালোভাবে মিলিত হয়: Inference, video processing, rendering।

যদি আপনার ওয়ার্কলোডে উল্লেখযোগ্য বেশি মেমরি লাগে (যেমন, সীমান্ত-স্কেল মডেল শূন্য থেকে প্রশিক্ষণ), NVIDIA L40 ছোট এবং আপনি H100/H200/B200 ক্লাস কার্ড চাইবেন। যদি আপনার ওয়ার্কলোড কম লাগে (যেমন, 7B-প্যারামিটার মডেলে ছোট স্কেলের সার্ভিং), সস্তা কার্ড যেমন L4 বা RTX 4090 বেশি খরচ কার্যকর হতে পারে। মাঝারি ব্যান্ডের জন্য, NVIDIA L40 সাধারণত বুদ্ধিমানের পছন্দ।

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.