Kubernetes Desteği ile Bulut GPU Sağlayıcıları

Kiralanan GPU hesaplama için Kubernetes desteğinin anlamı

Bir bulut GPU sağlayıcısı Kubernetes desteği sunduğunu ilan ettiğinde, bu, GPU iş yüklerini tek tek kiralanan makinelerde elle yerleştirmek yerine Kubernetes tarafından yönetilen konteynerlere planlayabileceğiniz anlamına gelir. Pratikte bu, birlikte çalışan küçük bir bileşen yığınına bağlıdır: NVIDIA cihaz eklentisi (veya AMD için eşdeğeri), GPU’ları kubelet’e nvidia.com/gpu gibi planlanabilir bir kaynak olarak sunar; NVIDIA Container Toolkit ile yapılandırılmış konteyner çalışma zamanı, böylece konteynerler sürücüyü görebilir; ve görüntülerinizde eşleşen sürücü ve CUDA sürümleri. Birçok sağlayıcı bunu NVIDIA GPU Operatörü aracılığıyla paketler; bu, sürücüleri, cihaz eklentisini ve izlemeyi her düğüme otomatik olarak kurar, böylece sürücüleri kendi görüntülerinize dahil etmek zorunda kalmazsınız.

Yukarıdaki karşılaştırmadaki “evet” iki maddi olarak farklı şeyi ifade edebilir ve hangisini aldığınızı bilmek faydalıdır:

• GPU düğüm havuzlarıyla yönetilen Kubernetes — sağlayıcı kontrol düzlemini sizin için çalıştırır ve GPU destekli işçi düğümleri eklemenize izin verir; çoğunlukla manifestler yazarsınız ve GPU kaynakları talep edersiniz.
• Kendi kümenize katabileceğiniz GPU örnekleri — sağlayıcı size ham GPU VM’leri veya çıplak metal sunar ve Kubernetes’i (veya k3s gibi bir dağıtımı) kendiniz kurar ve işletirsiniz.

Her ikisi de meşru “Kubernetes desteği”dir, ancak operasyonel yük çok farklıdır. Kontrol düzleminin yönetilip yönetilmediğini görmek için yukarıdaki karşılaştırmayı ve sağlayıcının belgelerini kontrol edin.

Gerçek GPU iş akışları için neden önemli

Kubernetes, tek bir uzun ömürlü kutudan ziyade orkestrasyon gerektiğinde GPU işlerinde kendini gösterir:

• Ölçekli çıkarım servisi — bir hizmetin arkasında otomatik ölçeklenen çoğaltmalar, kesinti olmadan yeni model sürümlerinin dağıtımı ve birkaç küçük modeli paylaşılan düğümlere sığdırma. Bu, GPU’larda Kubernetes için en güçlü durumdur.
• Çok düğümlü dağıtık eğitim — Kubeflow eğitim operatörleri veya MPI/Volcano tarzı grup planlaması gibi çerçeveler ve operatörler, birçok GPU düğümü arasında işçi podlarını koordine eder; bu, tek bir makinenin modeli tutamadığı veya daha hızlı gerçek zamanlı eğitim istediğiniz durumlarda önemlidir.
• Toplu ve boru hattı işleri — ince ayar çalışmaları, veri ön işleme veya render işlemlerini Kubernetes İşleri olarak sıraya koymak, yeniden denemeler ve kaynak kotaları ile SSH oturumlarını sürekli izlemek yerine.

Tek bir etkileşimli not defteri veya bir GPU üzerinde bir ince ayar çalışması için Kubernetes genellikle gereksiz bir yük olur — SSH veya Jupyter uç noktası olan basit bir kiralanmış örnek daha basittir. Değer, birden fazla iş yükünüz, birden fazla GPU’nuz veya otomatik kurtarma ve ölçeklendirme ihtiyacınız olduğunda ortaya çıkar.

Dikkat edilmesi gereken GPU paylaşımı ve planlama özellikleri

Düz Kubernetes, bir GPU’yu bölünemez tam sayı kaynağı olarak ele alır: bir pod bir veya daha fazla tam GPU alır. Çıkarım modelleriniz bir kartı tam olarak kullanmıyorsa bu israf olur. Sağlayıcılar ve kümeler, GPU’ları ne kadar ince dilimlemenize izin verdiklerine göre farklılaşır:

• Zaman dilimleme — cihaz eklentisi, bir fiziksel GPU’yu birkaç planlanabilir birim olarak tanıtarak birden fazla podun onu iş birliği içinde paylaşmasına izin verir (katı bellek izolasyonu yoktur).
• Çoklu Örnek GPU (MIG) — Ampere nesli ve sonrası veri merkezi kartlarında desteklenen bu, bir GPU’yu donanım izolasyonlu örneklere ayırır; her biri özel bellek ve hesaplama dilimleriyle.
• MPS (Çoklu İşlem Servisi) — farklı işlemlerden eşzamanlı çekirdeklerin bir GPU üzerinde zaman dilimlemeden daha düşük yükle çalışmasına izin verir.

Birden fazla küçük çıkarım iş yükünü daha az karta sığdırmayı planlıyorsanız, sağlayıcının bunlardan hangilerini sunduğunu doğrulayın; çünkü bu, gerçekten kaç GPU kiralamanız gerektiğini doğrudan etkiler.

Takaslar ve taahhütte bulunmadan önce doğrulanması gerekenler

Kubernetes yetenek katar ama aynı zamanda hareketli parçalar da ekler. Bunları daha basit bir kiralanmış örnekle karşılaştırın:

• Sürücü ve CUDA uyumu — konteyner görüntünüzün CUDA araç seti, düğümde yüklü sürücü ile uyumlu olmalıdır. GPU Operatörü bu sıkıntıyı azaltır, ancak sürüm uyumsuzlukları, planlanan ancak çöken podların en yaygın nedenidir.
• Çok düğümlü eğitim için ağ bağlantısı — dağıtık işler bant genişliğine duyarlıdır. Yüksek hızlı bağlantı (örneğin RDMA/InfiniBand veya hızlı düğüm-düğüm bağlantıları) ve sağlayıcının ilgili CNI ve cihaz eklentilerini destekleyip desteklemediğine bakın; sıradan pod ağı kolektif işlemlerde darboğaz oluşturabilir.
• Depolama — eğitim ve kontrol noktası için CSI sürücüsü ve kalıcı hacimler gerekir, ideal olarak podlarınızın düğümler arasında bağlayabileceği hızlı paylaşılan depolama ile desteklenir.
• Spot/kesilebilir düğümler — daha ucuz öncelikli GPU düğümleri, iş yükleriniz tahliye edilmesine toleranslıysa Kubernetes ile iyi eşleşir; kümenin düğüm boşaltmalarını yönetip düzgün yeniden planlama yaptığından emin olun.
• Faturalandırma modeli — podlar kullanıyor olmasa bile temel GPU düğümleri için ödeme yaparsınız, ayrıca yönetilen kontrol düzlemi ücreti de olabilir. Boşta duran GPU düğümleri gizli maliyettir; sıfıra kadar otomatik ölçeklendirme bu maliyeti azaltır.

Yukarıdaki listeyi Kubernetes destekli sağlayıcıları filtrelemek için kullanın, ardından her birinin belgelerine cihaz eklentisi yöntemi, GPU paylaşım seçenekleri, bağlantı ve kontrol düzleminin yönetilip yönetilmediği hakkında detaylı bakın. Tablo canlı kullanılabilirlik ve fiyatlandırmayı ele alır; bu boyut ise kiraladığınız GPU’lar için ne kadar orkestrasyon aldığınızla ilgilidir.

Sıkça sorulan sorular

Kubernetes desteği GPU düğümlerinde sürücülerin zaten yüklü olduğu anlamına mı gelir?

Çoğu zaman evet, ama her zaman değil. NVIDIA GPU Operatörü veya önceden oluşturulmuş GPU düğüm görüntüleri sunan sağlayıcılar sürücüyü, konteyner araç setini ve cihaz eklentisini sizin için kurar. Diğerleri ise bu bileşenleri kendinizin kurduğu çıplak GPU düğümleri verir. Hangi modelin geçerli olduğunu doğrulayın, böylece görüntülerinizin önceden yüklü sürücü sürümüyle uyumlu olup olmadığını bilirsiniz.

Kubernetes üzerinde bir GPU başına birden fazla iş yükü çalıştırabilir miyim?

Varsayılan olarak hayır — Kubernetes podlara tam GPU tahsis eder. Bir kartı paylaşmak için zaman dilimleme, MPS veya donanım MIG bölümlendirmesi gibi açıkça etkinleştirilmiş bir özellik gerekir. Bir GPU üzerinde birkaç küçük modeli birlikte barındırabileceğinizi varsaymadan önce sağlayıcının bunlardan herhangi birini sunup sunmadığını yukarıdaki karşılaştırmada kontrol edin.

Tek bir GPU işi için Kubernetes değer mi?

Genellikle hayır. Bir not defteri, bir çıkarım uç noktası veya bir ince ayar çalışması için, SSH veya barındırılan Jupyter ile basit bir kiralanmış örnek daha basittir ve küme yükünü önler. Kubernetes, birden fazla eşzamanlı iş yükünüz, çoklu GPU veya çok düğümlü eğitim, otomatik ölçeklendirme çıkarımı veya otomatik yeniden denemeler ve dağıtımlar ihtiyacınız olduğunda karşılığını verir.

Kubernetes üzerinde çok düğümlü dağıtık eğitim için neyi kontrol etmeliyim?

GPU düğümleri arasında yüksek hızlı bağlantıyı (örneğin RDMA veya InfiniBand), tüm işçi podlarının birlikte başlamasını sağlayan grup/sıra planlaması desteğini, çerçeveniz için bir eğitim operatörünü ve veri setleri ile kontrol noktaları için hızlı paylaşılan depolamayı doğrulayın. Bunlar olmadan dağıtık işler ya kısmi planlama için bekleyerek duraklar ya da ağ ve depolamada darboğaz yaşar, hesaplamada değil.