Araştırma ve Deneyler için En İyi Bulut GPU'ları

Kiralanan GPU’lardan araştırma ve deneylerin gerçekte talep ettiği şeyler

Araştırma ve deney, üretim eğitimi veya servisinden temelde farklı bir iş yüküdür ve yukarıdaki karşılaştırma bu ayrım gözetilerek filtrelenmiştir. Bir araştırma iş akışı iterasyon ile yönetilir: bir hipotezi test etmek için bir örnek başlatırsınız, birkaç düzine kısa iş çalıştırırsınız, bir hiperparametreyi veya veri yükleme yolunu değiştirirsiniz ve her şeyi kapatırsınız. Baskın maliyetler tek bir çok haftalık eğitim çalışması değil, insanın dahil olduğu birçok ani, etkileşimli oturumun toplamıdır. Bu, listeyi okurken neye değer vermeniz gerektiğini şekillendirir.

Deneyler keşif amaçlı olduğundan, kiralamanın en önemli özellikleri genellikle şunlardır:

• İnce faturalama ayrıntısı, böylece 20 dakikalık bir hata ayıklama oturumu size tam bir saat maliyet getirmez ve öğle arasında açık bırakılan boşta bir not defteri kolayca affedilir.
• Hızlı sağlama ve kapatma, çünkü örnekleri bir sprintte bir kez değil, gün içinde birçok kez başlatıp kapatabilirsiniz.
• Etkileşimli erişim Jupyter, SSH veya barındırılan bir not defteri aracılığıyla, çünkü tensörleri inceliyorsunuz, eğriler çiziyorsunuz ve kodu adım adım izliyorsunuz, toplu iş gönderip uzaklaşmıyorsunuz.
• Esnek, orta seviye VRAM, çünkü çoğu araştırma modeli, bir batch’i ve bir optimize edici durumunu tek bir kartta sığdırır, çok düğümlü kümeye ihtiyaç duymaz.

Ham teraflops karşılaştırması yapmadan önce yukarıdaki karşılaştırmayı bu ihtiyaçlara göre okuyun. Saniye başına faturalandıran ve otuz saniyede başlayan biraz daha yavaş bir kart, uzun kuyruklu ve saatlik faturalandıran daha hızlı bir karttan genellikle daha iyi bir araştırma aracıdır.

Donanım katmanını bir deneye uyarlamak

Araştırma bütçelerinde tekrar eden hatalardan biri, asla tam kapasite kullanılmayan bir amiral gemisi veri merkezi hızlandırıcısını kiralamaktır. Deneyler geniş bir yelpazeye yayılır ve doğru katman, aslında neyi incelediğinize bağlıdır.

Küçük ölçekli ve prototip çalışmaları

Mimari taslaklar, eğitim döngüsünü hata ayıklama, ölçek küçültülmüş bir makaleyi yeniden üretme veya klasik ML ve küçük transformer’lar için yaklaşık 16 ila 24 GB belleğe sahip orta seviye bir kart genellikle yeterlidir. Bu örnekler daha ucuz spektrumda yer alır, genellikle bol bulunur ve bütçeyi yakmadan hızlıca başarısız olmanıza izin verir. Ayrıca FP16 ve BF16 gibi modern azaltılmış hassasiyetleri destekler, böylece daha sonra daha büyük donanıma değişmeden taşınacak karma hassasiyetli kod prototipleri oluşturabilirsiniz.

Bellek sınırlandırılmış keşif

Araştırmanız daha büyük dil veya görsel modelleri, uzun bağlam pencereleri veya büyük batch’leri içeriyorsa, VRAM hesaplamadan daha kısıtlayıcı hale gelir. Burada 40 ila 80 GB yüksek bant genişlikli belleğe sahip kartlar istersiniz, çünkü deney aksi takdirde sığmaz ve ana bellekten dışa aktarma iterasyonu sürünmeye indirger. Yüksek bellek katmanı daha pahalı ve daha sık kıttır, bu yüzden kritik olmayan taramalar için talep üzerine kullanılabilirlik ve kesintiye uğratılabilir veya spot kapasite olup olmadığını kontrol etmek faydalıdır.

Çoklu GPU’nun önemli olduğu durumlar (ve olmadığı durumlar)

Çoğu araştırma tek GPU ile yapılır. Çoklu GPU örneklerine yüksek hızlı bağlantı ile ancak dağıtılmış eğitim davranışını, ölçekleme yasalarını veya tek kart için çok büyük modelleri kasıtlı olarak incelerken başvurun. Günlük deneyler için iyi seçilmiş tek bir GPU, tam kullanmayacağınız NVLink sınıfı ağların karmaşıklığını ve maliyetini önler.

Araştırmaya özgü maliyet kontrol kalıpları

Araştırma ani ve insan tempolu olduğundan, harcama tuzakları üretimden farklıdır. Birkaç kalıp deneyleri uygun maliyetli tutar:

• Tarama ve ablatyonlar için kesintiye uğratılabilir veya spot kapasite kullanın, öncelikli bir iş kesildiğinde yeniden kuyruğa alınabilir. Etkileşimli hata ayıklama için kesintisiz akışın bozulacağı durumlarda talep üzerine fiyatlandırmayı ayırın.
• Depolamayı hesaplamadan ayırın. Veri setlerini ve kontrol noktalarını kalıcı hacimlerde tutmak, her seferinde veriyi yeniden indirmeden pahalı GPU örneklerini oturumlar arasında yok etmenize olanak tanır. Sonuçları sık sık platform dışına taşıyorsanız çıkış ücretlerine dikkat edin.
• Keşif çalışmaları için saniye veya dakika bazında faturalandırma yapan sağlayıcıları tercih edin, çünkü fark yüzlerce kısa başlatmada katlanır.
• Kasıtlı olarak doğru boyutta seçin. Temsilci bir çalışmayı önce daha ucuz bir kartta profil çıkarın; iş yükünün bunu gerektirdiğine dair kanıtınız olduğunda ancak amiral gemisine geçin.

Sunulan ücretsiz krediler ve deneme katmanları, iş yükleri küçük ve kısa olduğu için araştırmada gerçekten faydalıdır; bütçe ayırmadan önce bir kurulumu doğrulamanıza olanak tanır.

Yukarıdaki karşılaştırmayı araştırma için nasıl okuyacağınız

Listeyi tararken, faturalama ayrıntısı, sağlama hızı ve etkileşimli araçları başlık GPU modeli ve fiyatıyla birlikte değerlendirin. Tekrarlanabilirlik için sağlayıcının bir konteyner imajını veya ortamını sabitlemenize izin verdiğini kontrol edin, böylece bugün yaptığınız bir deney gelecek ay aynı şekilde davranır. Umut vadeden bir çalışmanın örneği serbest bırakıldığında kaybolmaması için anlık görüntülerin veya kalıcı disklerin mevcut olduğundan emin olun. Son olarak, istediğiniz kartın tam olarak istediğiniz anda gerçekçi bulunabilirliğine bakın, çünkü kıtlık genellikle liste fiyatından daha çok araştırmayı yavaşlatır.

Sıkça sorulan sorular

Araştırma için pahalı bir amiral gemisi GPU’ya ihtiyacım var mı?

Genellikle hayır. Prototipleme, hata ayıklama ve küçük ölçekli eğitim dahil olmak üzere deneylerin büyük bir kısmı, 16 ila 24 GB belleğe sahip orta seviye kartlarda rahatça çalışır. Yukarıdaki listede yüksek bellekli amiral gemisi katmanını gerçekten başka türlü sığmayan deneyler için saklayın ve önce daha ucuz bir kartta profil çıkararak doğru boyutu seçin.

Spot veya kesintiye uğratılabilir örnekler araştırma için güvenli midir?

İş kesintiye toleranslı olduğu sürece araştırmaya uygundurlar. Hiperparametre taramaları, ablatyonlar ve sık sık kontrol noktası alan işler kesintiden sonra ucuzca yeniden kuyruğa alınabilir. Etkileşimli hata ayıklama oturumlarını talep üzerine kapasitede tutun, çünkü oradaki beklenmedik kapanış konsantrasyonunuzu bozar, sadece bir toplu işi değil.

Deneyler için faturalama ayrıntısı neden bu kadar önemli?

Araştırma, bir uzun çalışma yerine birçok kısa, insan tempolu oturumdan oluşur. Saniye veya dakika bazında faturalama, kısa bir hata ayıklama oturumu veya molada boşta bırakılan bir not defterinin sadece kullandığı kadar ücretlendirilmesi anlamına gelir; saatlik yuvarlama ise yüzlerce küçük başlatmada faturayı katlayabilir.

Kiralanan örneklerde deneylerin tekrarlanabilirliğini nasıl sağlarsınız?

Ortamınızı sabit bir konteyner imajı veya kilitli bağımlılık spesifikasyonu ile sabitleyin, veri setlerini ve kontrol noktalarını geçici örnek diskleri yerine kalıcı hacimlerde saklayın ve kullandığınız tam GPU modeli ile sürücü sürümünü kaydedin. Yukarıdaki listede sağlayıcının bunları desteklediğini doğrulayın, böylece tekrarlamanız gereken işlerde ona güvenebilirsiniz.