Üretken Yapay Zeka için En İyi Bulut GPU'ları

Kiralanan bir GPU’dan generatif yapay zekanın gerçekten ne istediği

Generatif yapay zeka geniş bir kavramdır. Otoregresif büyük dil modellerini, difüzyon tabanlı görüntü ve video üreticilerini, metinden sese ve müzik modellerini ve giderek birden fazlasını aynı anda işleyen multimodal sistemleri kapsar. Ortak nokta, modellerin beslediğiniz verilere göre büyük olması ve darboğazın neredeyse her zaman GPU belleği olmasıdır, ham hesaplama gücü değil. Yukarıdaki karşılaştırmayı okumadan önce, bu iş yükü için hangi boyutların fark yarattığını bilmek faydalıdır.

• VRAM kapasitesi neyi yükleyebileceğinizi belirler. Bir modelin ağırlıkları, aktivasyonlar ve eğitim sırasında optimizasyon durumu ve gradyanlarla birlikte belleğe sığmalıdır. 7B–13B parametreli kuantize edilmiş bir modelde çıkarım, tek bir 24GB kartta rahat yapılabilirken, 70B modelin daha yüksek hassasiyette sunulması sizi 80GB sınıfı hızlandırıcılara veya birden fazla GPU’ya yönlendirir.
• Bellek bant genişliği token verimliliğini belirler. Generatif çıkarım bellek sınırlıdır: her oluşturulan token, model ağırlıklarının hesaplama birimlerinden geçirilmesini gerektirir, bu nedenle veri merkezi hızlandırıcılarında bulunan HBM sınıfı bant genişliği, aynı VRAM’e sahip GDDR tabanlı tüketici kartlarından çok daha yüksek token/saniye üretir.
• Düşük hassasiyet desteği birçok diğer iş yüküne göre burada daha önemlidir. FP16, BF16 ve özellikle FP8 veya INT8 hızlandıran tensör çekirdekleri, daha büyük modelleri daha az bellekle ve daha yüksek hızda çalıştırmanıza olanak tanır. FP8 destekli donanım, en yeni büyük modellerin hem sunumu hem de eğitimi için anlamlı bir fark yaratır.
• Bağlantı (interconnect) bir model artık tek bir GPU’ya sığmadığında belirleyici olur. NVLink gibi yüksek bant genişlikli bağlantılar ve çok düğümlü eğitim için düğüm düzeyinde ağ yapıları, ağırlıklar GPU’lar arasında paylaştırıldığında birden fazla GPU’nun beslenmesini sağlar. Sadece PCIe tabanlı çok GPU’lu kurulumlar çalışır ancak büyük model eğitimi ve tensör-paralel çıkarımı sınırlar.

İş yükünü doğru katmana eşleştirmek

“Generatif yapay zeka” ne yaptığınıza bağlı olarak çok farklı kiralama ihtiyaçlarını kapsar. Yukarıdaki listeyi bu bakış açısıyla okumak size para ve zaman kazandırır.

Çıkarım ve sunum

Bir modeli kullanıcılar için metin, görüntü veya ses üretmek üzere dağıtıyorsanız, dolar başına en yüksek bellek bant genişliğini ve model ile makul bir KV önbelleğini (bağlam uzunluğuna bağlı olarak büyüyen istek başına bellek) tutacak kadar VRAM’i istersiniz. Sohbet tarzı ve uzun bağlamlı üretimde KV önbelleği ağırlıklarla boyut olarak yarışabilir, bu yüzden örneğinizi sadece model ağırlıklarına göre boyutlandırmayın. INT8 veya FP8 kuantizasyonu, daha büyük modelleri sığdırmanızı veya daha küçük kartlarda daha fazla eşzamanlı isteği sunmanızı sağlar. Gerçek zamanlı, gecikmeye duyarlı sunumda, genellikle bir modelin ince ince dağıtılmasındansa her replikaya bir hızlı GPU daha iyidir.

İnce ayar ve uyarlama

Çoğu ekip temel modeli özelleştirirken tam eğitim yerine parametre verimli ince ayar (LoRA/QLoRA) yapar. Özellikle QLoRA, temel modeli kuantize tutar ve küçük adaptör ağırlıklarını eğitir, bu da VRAM gereksinimini dramatik şekilde düşürür — önemli modeller tek bir 24GB–48GB kartta ayarlanabilir hale gelir. Büyük modellerin tam ince ayarı ise optimizasyon durumu ve gradyanların bellekte tutulmasını gerektirir, bu da gereksinimi birkaç kat artırabilir ve sizi 80GB hızlandırıcılara veya güçlü bağlantılı çok GPU düğümlerine yönlendirebilir.

Ön eğitim ve büyük ölçekli eğitim

Büyük bir generatif modeli sıfırdan eğitmek en zorlu durumdur. Çoklu GPU ve çoklu düğüm ölçeklendirmesi hakimdir, bu yüzden bağlantı bant genişliği, veri yükleyicileri beslemek için hızlı paylaşılan depolama ve HBM ile FP8 desteği olan güvenilir üst düzey hızlandırıcılar önemlidir. Bu noktada talebe bağlı kullanılabilirlik ve kıtlık planlama meselesi olur ve genellikle en ucuz spot fiyatı kovalamaktan ziyade taahhütlü veya ayrılmış kapasite daha mantıklıdır.

Yukarıdaki karşılaştırmayı generatif yapay zeka için nasıl okumalı

Tablo canlı detayları ele alır, ancak göz atarken şunları değerlendirin:

• Önce VRAM, sonra bant genişliği. Modeliniz ve KV önbelleğini gerçekten tutabilen örneklere filtreleyin, ardından çıkarım verimliliği için HBM sınıfı belleği tercih edin.
• Tek GPU mu çoklu GPU mu. Modeliniz tek bir GPU’ya sığıyorsa, tek hızlı kart çoklu GPU kutusundan daha basit ve genellikle daha ucuzdur. Model gerçekten kartlara yayıldığında NVLink bağlantılı çoklu GPU örneklerine yönelin.
• Faturalandırma hassasiyeti. Generatif iş yükleri genellikle ani artışlar gösterir — bir toplu görüntü işi, bir değerlendirme çalışması, aralıklı bir uç nokta. Saniye veya dakika bazlı faturalandırma ve örnekleri hızlı durdurabilme, boşta kalan hızlandırıcılar için ödeme yapmanızı önler.
• Spot mu talep üzerine mi. Kesintiye uğrayabilir örnekler, hata toleranslı toplu üretim ve kontrol noktası ile ince ayar için mükemmeldir, ancak kullanıcıya açık ve sürekli çalışması gereken uç noktalar için risklidir.
• Depolama ve çıkış. Model ağırlıkları taşımak için büyüktür ve kontrol noktaları için kalıcı depolama maliyeti artar; her seçeneğin sadece GPU zamanı değil, depolama ve veri aktarımı için nasıl ücretlendirdiğini kontrol edin.

En çok talep gören hızlandırıcıların fiyatları ve arzı sık sık değiştiği için, yukarıdaki karşılaştırmadaki canlı rakamları gerçek kaynak olarak kabul edin ve hangi satırların karşılaştırmaya değer olduğuna karar vermek için buradaki rehberi kullanın.

Sıkça sorulan sorular

Generatif yapay zeka için ne kadar VRAM gerekir?

Model boyutuna ve hassasiyete bağlıdır. 7B–13B arası kuantize modeller 24GB tüketici sınıfı kartlarda çalışır, orta boy modeller ve tam hassasiyetli sunum 48GB kartları tercih eder, 70B parametre civarı veya üzerindeki büyük modeller genellikle 80GB sınıfı hızlandırıcılar veya birden fazla GPU gerektirir. Uzun bağlamlı üretimde KV önbellek için her zaman ekstra bellek ayırın.

Generatif yapay zeka için spot mu yoksa talep üzerine mi örnek kullanmalıyım?

Kesintiye uğrayabilir kapasiteyi, kesinti durumunda sadece yeniden başlatma maliyeti olan hata toleranslı işler için kullanın; örneğin toplu görüntü veya video üretimi ve kontrol noktası ile ince ayar. Üretim çıkarım uç noktaları ve kolayca devam edemeyen uzun eğitimler için talep üzerine veya ayrılmış kapasite kullanın, çünkü beklenmedik kesintiler burada çok daha yıkıcıdır.

80GB veri merkezi GPU’suna mı ihtiyacım var yoksa bir tüketici kartı yeterli mi?

Deney yapmak, LoRA/QLoRA ince ayarı ve küçük ila orta boy kuantize modelleri sunmak için 24GB tüketici sınıfı GPU genellikle yeterlidir ve kiralaması daha ucuzdur. Daha yüksek bellek bant genişliği, FP8 hızlandırma, çoklu GPU ölçeklendirmesi için NVLink veya büyük modeller ve büyük partiler için daha fazla alan gerektiğinde HBM destekli 80GB hızlandırıcılara geçin.

GPU tam kullanılmıyor olmasına rağmen neden token üretimim yavaş?

Generatif çıkarım genellikle hesaplama değil, bellek bant genişliği ile sınırlıdır, bu yüzden ham hesaplama kullanımı düşük görünse bile yüksek token/saniye tavanları görebilirsiniz. Çözüm, daha hızlı belleğe sahip bir kart (GDDR yerine HBM), modeli INT8 veya FP8’e kuantize etmek veya bellekten aktardığınız ağırlıkların aynı anda birden fazla üretime hizmet etmesi için daha fazla isteği toplu işlemek olabilir.