Çıkarım ve Model Sunumu için En İyi Bulut GPU'ları

Kiralanan bir GPU’dan çıkarımın gerçekten ne talep ettiği

Çıkarım, bir modelin hizmet aşamasıdır: ağırlıklar zaten eğitilmiştir ve her kullanıcı bir istem, bir resim veya bir istek gönderdiğinde hesaplama için ödeme yaparsınız. Bu, donanım matematiğini eğitimle tamamen değiştirir. Eğitim, verimlilik odaklıdır ve yoğun kümelerde saatler veya günlerce çalışır; çıkarım ise gecikmeye duyarlıdır, patlamalıdır ve süresiz olarak çalışır. Bir modeli hizmete sunmak için bir GPU kiraladığınızda, uzun bir işte ham FLOP’lar için değil, kabul edilebilir bir yanıt süresinde token başına veya istek başına maliyeti optimize edersiniz.

Genellikle en önemli kısıtlama bellek kapasitesidir, hesaplama değil. Bir model, batch boyutu ve bağlam uzunluğuyla büyüyen anahtar-değer (KV) önbelleğiyle birlikte VRAM’de sığmalıdır. Büyük dil modelleri için bu baskın faktördür: 16-bit’te sunulan bir model, sadece ağırlıklar için yaklaşık iki bayt parametre başına ihtiyaç duyar, bu nedenle orta boy bir model tek bir orta sınıf kartta rahatça durabilirken, sınır ölçekli bir model birden fazla GPU’nun birbirine bağlanmasını gerektirebilir. Yukarıdaki karşılaştırma, tam olarak VRAM’e göre filtreleme yapmanızı sağlar, böylece hizmet vermeyi planladığınız en büyük modele ve eşzamanlı istekler için boşluğa uygun bir kart seçebilirsiniz.

Çıkarım maliyeti ve gecikmesini etkileyen özellikler

• VRAM kapasitesi, modelin ve KV önbelleğinin tek bir GPU’ya sığıp sığmayacağını veya bölünmesi gerekip gerekmediğini belirler. İkinci bir GPU’ya veya ana makine belleğine taşınması gecikme ve karmaşıklık ekler.
• Bellek bant genişliği, token üretimi için gerçek darboğazdır. Otoregresif kod çözme, üretilen her token için tüm ağırlık setini okur, bu yüzden aynı hesaplama seviyesinde yüksek bant genişliğine sahip bellek (HBM sınıfı), GDDR sınıfı belleğe göre tokenleri daha hızlı üretir.
• Düşük hassasiyet desteği çok önemlidir. FP8 veya INT8 tensör yollarına sahip kartlar, modelleri az kalite kaybıyla daha fazla istek için kuantize etmenizi sağlar. 8-bit veya 4-bit kuantizasyon ayrıca bellek ayak izini küçültür ve genellikle bir modelin daha ucuz bir karta sığmasını sağlar.
• Bağlantı (NVLink ile PCIe karşılaştırması) yalnızca bir model birden fazla GPU’ya yayıldığında önemlidir. Tek GPU hizmetinde önemsizdir; çok büyük modellerin tensör paralel hizmetinde token gecikmesini doğrudan etkiler.

Batch (çevrimdışı) ile gerçek zamanlı çıkarım

“Çıkarım” kelimesinin altında iki çok farklı hizmet deseni yatar ve bunlar farklı kiralamalar ister.

Gerçek zamanlı çıkarım, canlı kullanıcıları hizmete sunar: bir sohbet botu, bir API uç noktası, bir web uygulamasının arkasındaki bir resim oluşturucu. Burada kuyruk gecikmesi önemlidir, GPU’lar genellikle trafik beklerken kısmen boş durur ve bir örneğin istek ortasında çekilmesine tahammül edemezsiniz. Bu desen, talep üzerine her zaman kullanılabilir kapasiteyi ve güçlü bellek bant genişliğine sahip bir kartı tercih eder, böylece küçük batch boyutlarında bile istek başına gecikme düşük kalır.

Batch veya çevrimdışı çıkarım, büyük birikmiş işleri işler: bir veri setini puanlama, bir korpusa gömme üretme, milyonlarca resmi altyazılama. Canlı kullanıcı yoktur, bu yüzden öğe başına gecikme neredeyse önemli değildir ve GPU’yu doyurmak için büyük batch’ler paketleyebilirsiniz. Bu desen, kesintiye uğratılabilir veya spot kapasite için ideal bir adaydır, çünkü bir örnek geri alınırsa kuyruğa kaldığınız yerden devam edersiniz. Yukarıdaki listeyi okurken, önce hangi iki desen içinde olduğunuzu belirleyin, çünkü bu hangi faturalandırma modeli ve kullanılabilirlik katmanının mantıklı olduğunu değiştirir.

Neden verimlilik ve kullanım oranı zirve FLOP’lardan daha iyidir

Kağıt üzerinde iki kat güçlü görünen bir kart nadiren çıkarım faturanızı yarıya indirir. Kod çözme bellek bağlıdır, bu yüzden bir GPU’nun ilan edilen zirve hesaplaması üretim sırasında genellikle tam kullanılmaz. Gerçekte ödediğiniz şey, gerçek batch boyutlarınız ve bağlam uzunluklarınız altında saniye başına efektif token başına dolardır. Modern hizmet yığınları, sürekli batchleme, sayfalı KV önbellekleri ve kuantizasyon yoluyla çok fazla boşa harcanan kapasiteyi geri kazanır. Kiralama yaparken pratik çıkarım: optimize edilmiş bir sunucu çalıştıran orta sınıf bir GPU, optimize edilmemiş bir sunucu çalıştıran amiral gemisi kartı geçebilir ve modelinize sığan daha küçük, daha ucuz bir kart genellikle sabit trafik için maliyet kazananıdır.

Hizmet için özellikle önemli sağlayıcı özellikleri

Çıkarım sürekli çalışır, bu yüzden çevre platform özellikleri tek seferlik bir eğitim işinden daha fazla önem kazanır. Yukarıdaki seçenekleri karşılaştırırken şu boyutları kontrol edin:

• Faturalandırma ayrıntısı: saniye veya dakika başı faturalandırma, patlamalı, sıfıra ölçeklenen hizmeti ödüllendirir; kaba saatlik faturalandırma, trafik patlamaları arasında boşta kalan uç noktaları cezalandırır.
• Soğuk başlatma ve hazırlama hızı: talebe göre çoğaltmaları yukarı ve aşağı ölçeklendiriyorsanız, yeni bir GPU örneğinin hazır hale gelme hızı doğrudan kullanıcıya yönelik gecikmeyi ve otomatik ölçeklendirme yeteneğinizi etkiler.
• Kalıcı depolama ve imaj önbellekleme: her başlatmada büyük model ağırlıklarını çekmek yavaştır ve bazen ölçümlüdür. Ağırlıkları tutan önbelleğe alınmış imajlar veya bağlı hacimler soğuk başlatmaları önemli ölçüde azaltır.
• Çıkış ücretleri: hizmet sürekli olarak sonuçları kullanıcılara gönderir. Eğitim için görünmez olan gigabayt başına çıkış ücreti, yüksek hacimli API’ler için gerçek bir maliyet kalemi olabilir.
• Talep üzerine güvenilirlik ile spot fiyatlandırma: gerçek zamanlı uç noktalar genellikle garanti edilen talep üzerine kapasiteye ihtiyaç duyar; batch işleri daha ucuz kesintiye uğratılabilir örnekleri tercih edebilir.
• Otomatik ölçeklendirme ve sunucusuz seçenekler: trafik dalgalıysa sıfıra ölçekleme önemlidir, böylece gece boyunca boşta duran bir GPU için ödeme yapmazsınız.

Yukarıdaki karşılaştırmayı çıkarım için nasıl okuyacağınız

Bu sırayla çalışın. Önce, hizmet vermeniz gereken en büyük modeli belirleyin ve bir kartın beklenen eşzamanlılıkta ağırlıklar ve KV önbelleği için yeterli VRAM’e sahip olduğunu doğrulayın. İkinci olarak, saniye başına token sayısını ve dolar başına token verimliliğini maksimize etmek için yüksek bellek bant genişliği ve düşük hassasiyet (FP8/INT8) desteğini tercih edin. Üçüncü olarak, faturalandırma ve kullanılabilirlik modelini deseninize göre eşleştirin: canlı uç noktalar için talep üzerine ve ince taneli faturalandırma, çevrimdışı batch işleri için kesintiye uğratılabilir kapasite. Güncel oranlar için canlı tabloyu kullanın, çünkü saatlik fiyatlandırma talep ve kıtlığa göre değişir ve sağlayıcıya göre farklılık gösterir; kalıcı kural, modelinize ve trafiğinize rahatça uyan en ucuz kartın neredeyse her zaman kazandığıdır, en güçlü olan değil.

Sıkça sorulan sorular

Bir modeli çıkarım için hizmete sunmak için ne kadar GPU belleğine ihtiyacım var?

Model ağırlıkları ve anahtar-değer önbelleği için plan yapın. 16-bit’te ağırlıklar parametre başına yaklaşık iki bayt gerektirir ve 8-bit veya 4-bit kuantizasyon bunu önemli ölçüde azaltır. Sonra batch boyutu ve bağlam uzunluğuyla büyüyen KV önbelleği için boşluk ekleyin. Yukarıdaki listeyi VRAM’e göre filtreleyin ve eşzamanlılık nedeniyle belleğin tükenmemesi için modelin sığdığı ve boşluk bırakan bir kart seçin.

Daha ucuz bir GPU çıkarım için yeterli mi yoksa amiral gemisi bir karta mı ihtiyacım var?

Birçok hizmet iş yükü için orta sınıf bir kart daha iyi bir değerdir. Token üretimi zirve hesaplamadan çok bellek bant genişliği ile sınırlıdır, bu yüzden amiral gemisi FLOP’lar genellikle tam kullanılmaz. Modeliniz daha küçük bir kartın VRAM’ine sığıyorsa ve optimize edilmiş bir hizmet yığını GPU’yu meşgul tutuyorsa, genellikle en pahalı seçeneği kiralamaktan daha iyi token başına maliyet elde edersiniz.

Çıkarım için spot veya kesintiye uğratılabilir örnekler kullanmalı mıyım?

Desene bağlıdır. Çevrimdışı batch çıkarım kesintilere iyi tolerans gösterir, çünkü kuyruğu devam ettirebilirsiniz, bu da daha ucuz spot kapasiteyi çekici kılar. Gerçek zamanlı, kullanıcıya yönelik uç noktalar genellikle garanti edilen talep üzerine kapasiteye ihtiyaç duyar, çünkü bir örneğin istek ortasında geri alınması hatalara ve gecikme garantilerinin bozulmasına yol açar.

Çıkarım faturalandırmasını eğitim faturalandırmasından farklı kılan nedir?

Eğitim sonlu, verimlilik odaklı bir iştir, oysa çıkarım sürekli çalışır ve genellikle trafik patlamaları arasında boşta kalır. Bu, saniye başı faturalandırma, hızlı hazırlama, sıfıra ölçekleme ve öngörülebilir çıkış maliyetlerini, tek seferlik bir eğitim çalışmasından çok daha önemli hale getirir. Yukarıdaki karşılaştırmada bu platform özelliklerini ham saatlik GPU oranıyla birlikte değerlendirin.