Spot / Öncelikli Bulut GPU Sağlayıcıları

Spot ve öncelikli GPU örnekleri aslında nedir

Bir spot veya öncelikli GPU örneği, sağlayıcının yedek kapasite havuzundan kritik bir koşul karşılığında büyük indirimle kiralanır: sağlayıcı, genellikle az veya hiç uyarı vermeden makineyi istediği zaman geri alabilir. Donanım, aynı GPU’nun talep üzerine versiyonuyla aynıdır — aynı VRAM, aynı tensör çekirdekleri, aynı bağlantı — ancak kullanılabilirlik sözleşmesi farklıdır. Kesintiye uğrayabilir olduğu için ucuz olan hesaplama gücünü satın alıyorsunuz. Yukarıdaki listede spot veya öncelikli kapasite sunduğu işaretlenen her sağlayıcı bu takası bir şekilde sunar, isimler farklı olsa da: spot, öncelikli, kesintiye uğrayabilir, topluluk veya fazla örnekler hepsi aynı temel fikri tanımlar.

İndirim, veri merkezlerinin nadiren %100 doluluk oranında çalışmasından kaynaklanır. Boşta duran GPU’lar hiçbir gelir getirmez, bu yüzden sağlayıcılar bu boş kapasiteyi standart fiyatın bir kısmına satar ve tam fiyat ödeyen bir müşteri istediğinde veya kendi planlama ihtiyaçları değiştiğinde geri almak zorunda kalabileceklerini kabul ederler. Kiracı için bu, başlıkta belirtilen tasarrufların gerçek olduğu anlamına gelir, ancak garantili talep üzerine düğümde olmayan operasyonel yükümlülükler getirir.

Kesintiye uğrayabilir fiyatlandırmanın gerçek iş yükleri için önemi

Spot kapasitenin anlaşılmasının nedeni, GPU kiralamanın pahalı olması ve kesintiye uğrayabilir örneklerdeki indirimin çoğu zaman hangi projelerin ekonomik olarak uygulanabilir olduğunu değiştirecek kadar büyük olmasıdır. Sorun şu ki, her iş yükü çalışırken ortadan kaldırılmayı tolere edemez. Karar verici faktör neredeyse her zaman işinizin ne kadar iyi kontrol noktası alıp devam ettiği olur.

• Mükemmel uyum: her birkaç dakikada bir dayanıklı depolamaya kontrol noktası kaydeden uzun eğitim ve ince ayar çalışmaları, büyük toplu çıkarım veya gömme işleri, çevrimdışı render, bağımsız denemeler içeren hiperparametre taramaları ve zaten hata toleransına dayalı kurulmuş herhangi bir iş akışı.
• Zayıf uyum: canlı bir uygulamaya hizmet veren gerçek zamanlı veya düşük gecikmeli çıkarım, kutuyu kaybetmenin kaydedilmemiş çalışmayı kaybetmek anlamına geldiği etkileşimli geliştirme oturumları ve bir düğüm kaybolduğunda zarifçe kurtarılamayan sıkı senkronize çoklu GPU eğitimi.

Zihinsel model basittir: eğer örneği kaybetmek size sadece son kontrol noktanızdan bu yana geçen dakikaları kaybettiriyorsa, spot neredeyse her zaman doğru seçimdir. Eğer kaybetmek size bir isteği, müşteriyi veya saatlerce kaydedilmemiş durumu kaybettiriyorsa, talep üzerine olan premium size ödemeye değer bir huzur sağlar.

Değerlendirmeniz gereken ödünleşmeler

Kesinti bariz maliyettir, ancak tek maliyet değildir. Sağlayıcıları bu boyutta karşılaştırırken tam resmi aklınızda tutun:

• Geri alma davranışı: bazı sağlayıcılar işinizin durumunu kaydedip temiz çıkış yapabilmesi için kısa bir sonlandırma bildirimi (genellikle birkaç dakika) verir; diğerleri makineyi anında geri alabilir. Bir süre tanıma dönemi çok değerlidir çünkü son bir kontrol noktası tetiklemenizi sağlar.
• Kullanılabilirlik dalgalanması: spot havuzları dalgalanır. İstediğiniz tam GPU, gördüğünüz fiyata belirli sürelerde mevcut olmayabilir ve en çok talep gören hızlandırıcılar daha eski veya daha az popüler kartlardan daha agresif geri alınır.
• Örneği aşan depolama: kontrol noktalarınız sadece örneğin yerel diskinde yaşıyorsa, bir kesinti onları siler. Spot, verileriniz ve kontrol noktalarınız düğümü aşan kalıcı veya ağ depolamada olduğunda güvenli çalışır.
• Yeniden başlatma sürtünmesi: geri alımdan sonra kapasiteyi yeniden edinmeli, konteyner imajınızı ve verilerinizi tekrar çekmeli ve devam etmelisiniz — bu yüzden soğuk başlatma süresi ve imaj boyutu etkin verim ve maliyetinizi etkiler.

Spot kapasite kiralamadan önce kontrol edilmesi gerekenler

Aynı kelime sağlayıcılar arasında farklı anlamlara gelebileceği için, varsaymak yerine yukarıdaki karşılaştırmayı kullanarak detayları doğrulayın. Kesintiye uğrayabilir örneklere iş yükü vermeden önce bu kontrol listesini gözden geçirin:

• Bildirim süresi: sağlayıcı geri almadan önce uyarıyor mu ve süre ne kadar? 30–120 saniye bile kontrol noktası tasarımınızı değiştirir.
• Geri alma sıklığı: spot makineler sadece gerçek kapasite baskısı altında mı geri alınıyor, yoksa rutin dengeleme için de mi? Sık ve düşük baskılı geri almalar tasarrufları azaltır.
• Kontrol noktası altyapısı: kontrol noktalarını dayanıklı nesne veya ağ depolamaya uygun maliyetle yazabiliyor musunuz ve onları geri almak için çıkış ücreti makul mü? Bu, güvenli spot kullanımının en önemli kolaylaştırıcısıdır.
• Otomatik yeniden edinim: kapasite geri geldiğinde platform işinizi otomatik olarak yeniden kuyruğa alıp başlatıyor mu yoksa bunu kendiniz mi yazmalısınız? Yönetilen yeniden kuyruğa alma spotu çok daha az el işi yapar.
• Çoklu GPU ve çoklu düğüm davranışı: birden fazla GPU birlikte gerekiyorsa, birini kaybetmek tüm işi durdurabilir. Sağlayıcının bir grubu atomik olarak tutup tutamadığını veya sadece tek GPU spot sunduğunu kontrol edin.
• Faturalama ayrıntısı: saniye veya dakika bazında faturalama, spot ile iyi uyumludur çünkü geri alma öncesi gerçekten çalıştığınız süre için ödeme yaparsınız, yuvarlama olmaz.

Birçok ekip tarafından benimsenen pratik bir model hibrit kurulumdur: indirimden faydalanmak için çoğunlukla spot üzerinde yüksek verimli, kontrol noktası alınabilir işleri çalıştırırken, gecikmeye duyarlı veya durumlu işler için küçük bir talep üzerine ayak izi tutmak. Bu karışım, kesintiye tahammül edemeyen iş akışı parçalarını riske atmadan tasarrufların çoğunu yakalar.

Sıkça sorulan sorular

Spot GPU örneği geri alındığında işimi kaybeder miyim?

Örnek geri alındığı anda sadece örnekte bulunan durumları kaybedersiniz — kaydedilmemiş ilerleme ve sadece yerel diskte olan her şey dahil. Kalıcı veya ağ depolamaya zaten yazdığınız işleri kaybetmezsiniz. Bu yüzden dayanıklı depolamaya sık kontrol noktası almak, spot kapasiteyi güvenle kullanmanın temel disiplinidir; iyi kontrol noktası ile en fazla son kaydetmeden bu yana birkaç dakikayı kaybedersiniz.

Spot ve talep üzerine örneklerde GPU donanımı farklı mı?

Hayır. Spot ve talep üzerine örnekler aynı fiziksel donanımı kullanır, yani GPU, VRAM, tensör çekirdekleri ve bağlantı aynıdır. Tek fark kullanılabilirlik ve fiyat sözleşmesidir: spot daha ucuz ama kesintiye uğrayabilir, talep üzerine daha pahalıdır ve geri alınmaz. Siz garantili süreklilik için ödeme yapıyorsunuz, daha hızlı silikon için değil.

Spot örnekler talep üzerine göre ne kadar tasarruf sağlar?

İndirim genellikle önemli düzeydedir ve kesintiye uğrayabilir kapasiteyi seçmenin ana nedenidir, ancak kesin rakam sağlayıcı, GPU modeli, bölge ve mevcut talebe göre değişir ve sürekli değişir. Tek bir sayıya güvenmek yerine, istediğiniz belirli GPU için yukarıdaki canlı karşılaştırmayı kontrol edin.

Hangi iş yükleri asla spot örneklerde çalıştırılmamalıdır?

Ani kaybolmaya dayanamayacak her şey için spot kullanmaktan kaçının: üretim uygulaması arkasında canlı, düşük gecikmeli çıkarım, kaydedilmemiş çalışmayı tutan etkileşimli oturumlar ve bir düğüm kaybolduğunda kurtarılamayan sıkı bağlı çoklu GPU işleri. Bunlar için talep üzerine premium ödemek değerlidir. Temiz kontrol noktası alan ve yeniden başlatmaları tolere eden her şey — eğitim, ince ayar, toplu çıkarım, render ve taramalar — spot için uygundur.