স্পট / প্রিম্পটিবল ইনস্ট্যান্স সহ ক্লাউড জিপিইউ প্রদানকারী

স্পট এবং প্রিম্পটিবল GPU ইনস্ট্যান্স আসলে কী

একটি স্পট বা প্রিম্পটিবল GPU ইনস্ট্যান্স প্রদানকারীর অতিরিক্ত ক্ষমতার পুল থেকে একটি বড় ছাড়ে ভাড়া নেওয়া হয় একটি গুরুত্বপূর্ণ শর্তের বিনিময়ে: প্রদানকারী যেকোনো সময় মেশিনটি পুনরুদ্ধার করতে পারে, সাধারণত খুব কম বা কোনো সতর্কতা ছাড়াই। হার্ডওয়্যার একই GPU এর অন-ডিমান্ড সংস্করণের মতো — একই VRAM, একই টেনসর কোর, একই ইন্টারকানেক্ট — কিন্তু এর উপলব্ধতার চুক্তি আলাদা। আপনি এমন কম্পিউট কিনছেন যা সস্তা কারণ এটি বাধাগ্রস্তযোগ্য। উপরের তালিকার প্রতিটি প্রদানকারী যারা স্পট বা প্রিম্পটিবল ক্ষমতা অফার করে তারা এই ব্যবসা কিছু না কিছু রূপে প্রকাশ করে, যদিও নাম ভিন্ন: স্পট, প্রিম্পটিবল, ইন্টারাপ্টিবল, কমিউনিটি, বা সারপ্লাস ইনস্ট্যান্স সব একই মূল ধারণা বর্ণনা করে।

ছাড়টি কারণ ডেটা সেন্টারগুলি খুব কমই ১০০% ব্যবহার করে। অব্যবহৃত GPU গুলো থেকে কোনো আয় হয় না, তাই প্রদানকারীরা ঐ ফাঁকা সময়কে স্ট্যান্ডার্ড রেটের একটি অংশে বিক্রি করে এবং মেনে নেয় যে যখন পূর্ণমূল্যের গ্রাহক চাইবে বা তাদের নিজস্ব সময়সূচী পরিবর্তিত হবে তখন তারা তা ফেরত নিতে পারে। ভাড়াটিয়ার জন্য এর মানে হলো শিরোনামের সঞ্চয়গুলি বাস্তব, কিন্তু এগুলো সাথে কিছু অপারেশনাল বাধ্যবাধকতা আসে যা গ্যারান্টিযুক্ত অন-ডিমান্ড নোডে থাকে না।

কেন ইন্টারাপ্টিবল মূল্যায়ন বাস্তব ওয়ার্কলোডের জন্য গুরুত্বপূর্ণ

স্পট ক্ষমতা বোঝার কারণ হলো GPU ভাড়া ব্যয়বহুল, এবং ইন্টারাপ্টিবল ইনস্ট্যান্সের ছাড় প্রায়ই এত বড় যে কোন প্রকল্প অর্থনৈতিকভাবে কার্যকর হতে পারে। কিন্তু সমস্যা হলো সব ওয়ার্কলোড মাঝপথে বন্ধ হওয়া সহ্য করতে পারে না। সিদ্ধান্তমূলক বিষয় প্রায়শই হলো আপনার কাজ কতটা ভালোভাবে চেকপয়েন্ট করে এবং পুনরায় শুরু করে.

• চমৎকার উপযোগী: দীর্ঘ প্রশিক্ষণ এবং ফাইন-টিউনিং রান যা কয়েক মিনিট অন্তর চেকপয়েন্ট সংরক্ষণ করে, বড় ব্যাচ-ইনফারেন্স বা এম্বেডিং কাজ, অফলাইন রেন্ডারিং, হাইপারপ্যারামিটার সুইপ যেখানে পৃথক ট্রায়াল স্বাধীন, এবং যেকোনো পাইপলাইন যা ইতিমধ্যেই ত্রুটি সহনশীলতার উপর ভিত্তি করে তৈরি।
• খারাপ উপযোগী: রিয়েল-টাইম বা কম-ল্যাটেন্সি ইনফারেন্স যা লাইভ অ্যাপ্লিকেশন সার্ভ করে, ইন্টারেক্টিভ ডেভেলপমেন্ট সেশন যেখানে বক্স হারালে অনসেভড কাজ হারায়, এবং ঘনিষ্ঠভাবে সিঙ্ক্রোনাইজড মাল্টি-GPU প্রশিক্ষণ যা এক নোড হারালে সুন্দরভাবে পুনরুদ্ধার করতে পারে না।

মানসিক মডেল সহজ: যদি ইনস্ট্যান্স হারানো মানে আপনার শেষ চেকপয়েন্ট থেকে কেবল কয়েক মিনিটের ক্ষতি হয়, স্পট প্রায়শই সঠিক পছন্দ। যদি হারানো মানে একটি অনুরোধ, একটি গ্রাহক, বা ঘণ্টার অনসেভড অবস্থা হারানো হয়, অন-ডিমান্ড প্রিমিয়াম আপনাকে এমন মানসিক শান্তি দেয় যা মূল্যবান।

বিবেচনা করার জন্য ট্রেড-অফ

বাধাগ্রস্ত হওয়া স্পষ্ট খরচ, কিন্তু একমাত্র নয়। যখন আপনি প্রদানকারীদের এই দিক থেকে তুলনা করবেন, সম্পূর্ণ চিত্র মাথায় রাখুন:

• পুনরুদ্ধার আচরণ: কিছু প্রদানকারী সংক্ষিপ্ত সমাপ্তির নোটিশ দেয় (সাধারণত কয়েক মিনিট) যাতে আপনার কাজ অবস্থা সংরক্ষণ করে পরিষ্কারভাবে বের হতে পারে; অন্যরা মেশিনটি তৎক্ষণাৎ তুলে নিতে পারে। একটি গ্রেস পিরিয়ড অত্যন্ত মূল্যবান কারণ এটি আপনাকে একটি চূড়ান্ত চেকপয়েন্ট ট্রিগার করতে দেয়।
• উপলব্ধতার পরিবর্তনশীলতা:স্পট পুল পরিবর্তিত হয়। আপনি যে নির্দিষ্ট GPU চান এবং যে দামে দেখেছেন তা কিছু সময়ের জন্য অনুপলব্ধ হতে পারে, এবং সবচেয়ে চাহিদাসম্পন্ন অ্যাক্সিলারেটরগুলি পুরানো বা কম জনপ্রিয় কার্ডের তুলনায় বেশি আগ্রাসীভাবে পুনরুদ্ধার করা হয়।
• ইনস্ট্যান্সের চেয়ে দীর্ঘস্থায়ী স্টোরেজ:যদি আপনার চেকপয়েন্টগুলি শুধুমাত্র ইনস্ট্যান্সের স্থানীয় ডিস্কে থাকে, একটি বাধাগ্রস্ততা তা মুছে দেয়। স্পট তখনই নিরাপদে কাজ করে যখন আপনার ডেটা এবং চেকপয়েন্টগুলি এমন স্থায়ী বা নেটওয়ার্ক স্টোরেজে থাকে যা নোড হারিয়ে যাওয়ার পরেও টিকে থাকে।
• পুনরায় শুরু করার ঘর্ষণ: পুনরুদ্ধারের পর আপনাকে আবার ক্ষমতা অর্জন করতে হয়, আপনার কন্টেইনার ইমেজ এবং ডেটা পুনরায় ডাউনলোড করতে হয়, এবং পুনরায় শুরু করতে হয় — তাই ঠান্ডা শুরু সময় এবং ইমেজের আকার আপনার কার্যকর থ্রুপুট এবং খরচ প্রভাবিত করে।

স্পট ক্ষমতা ভাড়া নেওয়ার আগে কী পরীক্ষা করবেন

একই শব্দ বিভিন্ন প্রদানকারীর কাছে বিভিন্ন অর্থ বহন করতে পারে, তাই উপরের তুলনা ব্যবহার করে নির্দিষ্ট বিষয় নিশ্চিত করুন, অনুমান না করে। বাধাগ্রস্ত ইনস্ট্যান্সে কাজ দেওয়ার আগে এই চেকলিস্টটি অনুসরণ করুন:

• নোটিশ উইন্ডো:প্রদানকারী পুনরুদ্ধারের আগে কি আপনাকে সতর্ক করে, এবং গ্রেস পিরিয়ড কতক্ষণ? এমনকি ৩০–১২০ সেকেন্ডও আপনার চেকপয়েন্টিং ডিজাইন পরিবর্তন করে।
• পুনরুদ্ধার কতটা আগ্রাসী:স্পট মেশিনগুলি কি শুধুমাত্র প্রকৃত ক্ষমতা চাপের সময় ফেরত নেওয়া হয়, নাকি নিয়মিত পুনর্বিন্যাসের জন্যও? ঘন ঘন, কম চাপের পুনরুদ্ধার সঞ্চয় কমিয়ে দেয়।
• চেকপয়েন্ট প্লাম্বিং:আপনি কি সস্তায় চেকপয়েন্টগুলি টেকসই অবজেক্ট বা নেটওয়ার্ক স্টোরেজে লিখতে পারেন, এবং সেগুলো পুনরুদ্ধার করার জন্য ইগ্রেস যুক্তিসঙ্গত? এটি নিরাপদ স্পট ব্যবহারের সবচেয়ে গুরুত্বপূর্ণ সক্ষমতা।
• স্বয়ংক্রিয় পুনঃঅর্জন:ক্ষমতা ফিরে এলে প্ল্যাটফর্ম কি স্বয়ংক্রিয়ভাবে আপনার কাজ পুনরায় সারিবদ্ধ এবং পুনরায় শুরু করে, নাকি আপনাকে নিজে স্ক্রিপ্ট করতে হয়? পরিচালিত পুনরায় সারিবদ্ধকরণ স্পট ব্যবহারের প্রক্রিয়াকে অনেক কম হাতের কাজ করে তোলে।
• মাল্টি-GPU এবং মাল্টি-নোড আচরণ:আপনাকে যদি একসাথে একাধিক GPU দরকার হয়, একটির হারানো পুরো কাজকে থামিয়ে দিতে পারে। পরীক্ষা করুন প্রদানকারী কি একটি গ্রুপকে এককভাবে ধরে রাখতে পারে, নাকি শুধুমাত্র একক-GPU স্পট অফার করে।
• বিলিং গ্রানুলারিটি:প্রতি সেকেন্ড বা প্রতি মিনিট বিলিং স্পটের সাথে ভাল কাজ করে কারণ আপনি শুধুমাত্র সেই সময়ের জন্যই অর্থ প্রদান করেন যা আপনি আসলে চালিয়েছেন পুনরুদ্ধারের আগে, পুরো মিনিটে রাউন্ড আপ না করে।

অনেক দল যে ব্যবহারিক প্যাটার্ন গ্রহণ করে তা হলো একটি হাইব্রিড সেটআপ: স্পট-এ অধিকাংশ থ্রুপুট-ভিত্তিক, চেকপয়েন্টযোগ্য কাজ চালান ছাড় পেতে, এবং যেকোনো ল্যাটেন্সি-সংবেদনশীল বা স্টেটফুল কাজের জন্য একটি ছোট অন-ডিমান্ড ফুটা রেখে। এই মিশ্রণ বেশিরভাগ সঞ্চয় ধরে রাখে এবং আপনার পাইপলাইনের সেই অংশগুলোকে রক্ষা করে যা সত্যিই বাধাগ্রস্ত সহ্য করতে পারে না।

সাধারণ জিজ্ঞাসা

স্পট GPU ইনস্ট্যান্স পুনরুদ্ধার হলে কি আমার কাজ হারিয়ে যাবে?

আপনি ইনস্ট্যান্সে থাকা যে কোনো অবস্থা হারাবেন যেটি পুনরুদ্ধারের সময় শুধুমাত্র ইনস্ট্যান্সের স্থানীয় ডিস্কে ছিল — অনসেভড অগ্রগতি এবং স্থানীয় ডিস্কের সবকিছু সহ। আপনি হারাবেন না এমন কাজ যা ইতিমধ্যেই টেকসই বা নেটওয়ার্ক স্টোরেজে লেখা হয়েছে। এজন্যই টেকসই স্টোরেজে নিয়মিত চেকপয়েন্টিং স্পট ক্ষমতা নিরাপদে ব্যবহারের মূল নীতি; ভাল চেকপয়েন্টিং থাকলে সর্বোচ্চ আপনি শেষ সংরক্ষণের কয়েক মিনিটের ক্ষতি করবেন।

স্পট এবং অন-ডিমান্ড ইনস্ট্যান্সের GPU হার্ডওয়্যার কি আলাদা?

না। স্পট এবং অন-ডিমান্ড ইনস্ট্যান্স একই শারীরিক হার্ডওয়্যার থেকে আসে, তাই GPU, এর VRAM, টেনসর কোর এবং ইন্টারকানেক্ট একই। পার্থক্য শুধু উপলব্ধতা এবং মূল্যের চুক্তিতে: স্পট সস্তা কিন্তু বাধাগ্রস্তযোগ্য, অন-ডিমান্ড বেশি খরচ হয় এবং তা হঠাৎ পুনরুদ্ধার করা হয় না। আপনি গ্যারান্টিযুক্ত ধারাবাহিকতার জন্য অর্থ প্রদান করছেন, দ্রুত সিলিকনের জন্য নয়।

স্পট ইনস্ট্যান্স অন-ডিমান্ডের তুলনায় কতটা সঞ্চয় করতে পারে?

ছাড় সাধারণত উল্লেখযোগ্য এবং ইন্টারাপ্টিবল ক্ষমতা বেছে নেওয়ার প্রধান কারণ, কিন্তু নির্দিষ্ট পরিমাণ প্রদানকারী, GPU মডেল, অঞ্চল এবং বর্তমান চাহিদার উপর নির্ভর করে এবং এটি ক্রমাগত পরিবর্তিত হয়। একটি নির্দিষ্ট সংখ্যার উপর নির্ভর না করে, উপরের লাইভ তুলনা চেক করুন আপনার পছন্দের নির্দিষ্ট GPU এর স্পট এবং অন-ডিমান্ড মূল্যের পার্থক্য জানতে।

কোন ওয়ার্কলোড কখনো স্পট ইনস্ট্যান্সে চালানো উচিত নয়?

যে কোনো কাজ যা হঠাৎ অদৃশ্য হওয়া সহ্য করতে পারে না তার জন্য স্পট এড়িয়ে চলুন: লাইভ, কম-ল্যাটেন্সি ইনফারেন্স যা প্রোডাকশন অ্যাপ্লিকেশনের পেছনে থাকে, ইন্টারেক্টিভ সেশন যেখানে অনসেভড কাজ থাকে, এবং ঘনিষ্ঠভাবে যুক্ত মাল্টি-GPU কাজ যা এক নোড হারালে পুনরুদ্ধার করতে পারে না। সেসব ক্ষেত্রে অন-ডিমান্ড প্রিমিয়াম মূল্যবান। যা কিছু পরিষ্কারভাবে চেকপয়েন্ট করে এবং পুনরায় শুরু সহ্য করে — প্রশিক্ষণ, ফাইন-টিউনিং, ব্যাচ ইনফারেন্স, রেন্ডারিং, এবং সুইপ — স্পটের জন্য উপযুক্ত।