NVLink veya InfiniBand ile Bulut GPU Sağlayıcıları

Çoklu GPU hesaplama kiraladığınızda NVLink ve InfiniBand’in gerçekte ne yaptığı

NVLink ve InfiniBand, makinenin iki farklı tarafından aynı temel problemi çözer: hızla GPU’lar arasında veri taşımak, böylece hızlandırıcılar beklemek yerine hesaplama yapmaya zaman ayırır. Yukarıdaki filtre, bu iki bağlantıdan birini veya her ikisini sunan bulut örneklerini daraltır. Bunlar birbirinin yerine geçmez — biri düğüm içi bir yapı olup tek bir sunucu içindeki GPU’ları bağlar, diğeri ise düğümler arası bir yapı olup sunucuları bir küme halinde birbirine bağlar. Birden fazla GPU’yu kapsayan herhangi bir iş yükü için, bağlantı genellikle neredeyse doğrusal ölçeklenme ile GPU eklemenin neredeyse fayda sağlamadığı bir kurulum arasındaki farktır.

NVLink: Bir kutu içindeki GPU’lar arasındaki hızlı yol

NVLink, NVIDIA’nın doğrudan GPU’dan GPU’ya bağlantısıdır. Trafiği ana PCIe veri yolu ve CPU üzerinden yönlendirmek yerine, NVLink GPU’ları birbirine bağlar (ve bazı platformlarda NVSwitch çapraz anahtarı üzerinden) böylece düğümdeki her GPU, yüksek bant genişliği ve düşük gecikme ile diğer tüm GPU’larla iletişim kurabilir. NVLink donanımlı bir örnek kiraladığınızda pratik sonuçlar şunlardır:

• PCIe-only düğümlere kıyasla çok daha yüksek GPU’dan GPU’ya bant genişliği, bu, her adımda gradyanlar, aktivasyonlar veya model parçalarının değiş tokuş edilmesi gerektiğinde önemlidir.
• GPU’lar arasında paylaşılan bellek — pratikte, bir GPU’nun VRAM’ine sığmayan bir model, NVLink alanı boyunca bölünebilir ve GPU’lar arası trafik PCIe üzerinden sürünmek yerine hızlı yapı üzerinde kalır.
• Toplu işlemler için daha düşük senkronizasyon yükü, veri-paralel eğitimi domine eden all-reduce gibi kolektif işlemler için geçerlidir.

NVLink tek bir düğüm içinde bulunur, bu yüzden kapsamı genellikle sunucu tasarımına bağlı olarak 2, 4 veya 8 GPU’dur. Yukarıdaki listede bir sağlayıcı “NVLink ile 8 GPU düğümü” reklamı yapıyorsa, bu sekiz kartın sıkı şekilde bağlı olduğu anlamına gelir. Bu, tek başına o düğümün diğer düğümlere nasıl bağlandığı hakkında bilgi vermez.

InfiniBand: Birçok sunucuyu tek bir küme haline getiren yapı

InfiniBand, ayrı GPU sunucularını bağlamak için kullanılan bir ağ teknolojisidir. Eğitim işleri tek bir düğümü aştığında, darboğaz kutu içinden kutular arası hale gelir ve sıradan Ethernet ağı GPU’ları durdurabilir. InfiniBand bunu çok yüksek bağlantı başına veri hızı, düşük ve öngörülebilir gecikme ve RDMA (uzaktan doğrudan bellek erişimi) ile çözer; bu, bir sunucunun diğer sunucunun belleğini her iki taraftaki CPU’yu dahil etmeden okuyup yazmasına olanak tanır. GPUDirect RDMA ile eşleştirildiğinde, veri düğümler arasında GPU’dan GPU’ya hareket ederken ana bellek kopyalarını büyük ölçüde atlayabilir.

Çok düğümlü eğitim için, bu ölçeklenmeyi verimli tutan şeydir. Diyelim ki onlarca veya yüzlerce GPU’dan oluşan bir küme, büyük bir modeli makul sürede eğitebiliyorsa, bunun nedeni düğümler arası yapının algoritmanın gerektirdiği kolektif iletişimi karşılayabilmesidir. Standart ağlara düşerseniz, aynı iş duvar saati zamanının büyük bir kısmını ağda bekleyerek geçirir.

Hangi iş yükleri gerçekten buna ihtiyaç duyar

NVLink veya InfiniBand için filtreleme, iletişimin sadece ham hesaplama değil kritik yol olduğu durumlarda mantıklıdır:

• Büyük model eğitimi ve ince ayar, parametreleri, optimizasyon durumu veya katmanları GPU’lar arasında parçalayan (tensor, pipeline veya tam parçalanmış veri paralelliği) — bu yöntemler sürekli GPU’lar arası trafik üretir ve düğüm içinde NVLink ve düğümler arasında InfiniBand’den en çok faydalanır.
• Çok düğümlü dağıtık eğitim, işin tek bir sunucuya sığmadığı durumlarda — burada InfiniBand ölçeklenme verimliliği için belirleyici faktördür.
• Yüksek performanslı hesaplama (HPC) ve bilimsel simülasyonlar, sıkı süreçler arası iletişim gerektirir ve yıllardır InfiniBand ve RDMA’ya dayanır.
• Büyük bağlamlı veya büyük model çıkarımı, tek bir modeli birden fazla GPU’ya böler, burada NVLink GPU’lar arası dikkat ve ağırlık erişiminin gecikme cezasını azaltır.

Tek GPU işleri için gerçekten gereksizdir. Küçük bir modeli ince ayarlamak, bir karta sığan toplu çıkarım yapmak, çoğu render işi ve deneyler tek başına GPU’da sorunsuz çalışır. Sıkı bağlantılı bir düğüm veya InfiniBand kümesi için prim ödemek, işiniz GPU sınırını hiç geçmiyorsa fayda sağlamaz.

Kiralamadan önce ne kontrol etmeli

İki bağlantı pazarlama metinlerinde sıkça karıştırılır, bu yüzden yukarıdaki karşılaştırmaya göre detayları doğrulayın:

• Kapsam — listelemenin NVLink (düğüm içi GPU bağlantısı) mi yoksa InfiniBand (düğümler arası ağ) mı olduğunu doğrulayın. Tek düğümlü bir örnek NVLink içerebilir ama hiç InfiniBand olmayabilir.
• Topoloji ve genişlik — NVLink alanını kaç GPU’nun paylaştığı (tam NVSwitch tümden-tüme mi yoksa kısmi köprüler mi), InfiniBand bağlantı hızı ve RDMA/GPUDirect’in etkin olup olmadığı.
• Nesil — daha yeni GPU nesilleri daha yüksek bant genişliğine sahip NVLink taşır; yalnızca “NVLink” etiketi hız hakkında bilgi vermez.
• Çok düğümlü kullanılabilirlik — gerçekten birden fazla birbirine bağlı düğüm ayırtıp ayırtamayacağınız ve bunların veri merkezinde dağınık değil aynı yapıda yer alıp almadığı.
• Yazılım desteği — NCCL, MPI ve kullandığınız çerçevenin yapıyı görüp kullanması; yanlış yapılandırma sessizce yavaş yolları kullanmaya düşürür.

Maliyet ve kullanılabilirlik açısından, bağlantı zengini örnekler spektrumun üst ucundadır. NVLink donanımlı çoklu GPU düğümleri ve InfiniBand bağlantılı kümeler premium donanım kullanır ve sürekli talep görür, bu yüzden talebe bağlı kapasite daha kısıtlıdır ve spot veya kesintili seçenekler tek tek standart GPU’lardan daha azdır. Özellikle çok düğümlü InfiniBand tahsisleri genellikle sınırlandırılmış, rezerve edilmiş veya daha büyük bloklar halinde satılır. Yukarıdaki tabloda verilen fiyatları canlı referans olarak kabul edin, çünkü oranlar değişir ve sağlayıcıya göre farklılık gösterir.

Sıkça sorulan sorular

Hem NVLink hem InfiniBand gerekli mi?

Ölçeğe bağlı. Tek düğümlü çoklu GPU işi sadece NVLink ister. Eğitiminiz birden fazla sunucuya yayıldığında, bu düğümleri bağlayan InfiniBand da gerekir — ikisi farklı katmanlarda çalışır, bu yüzden büyük bir küme genellikle her kutu içinde NVLink ve kutular arasında InfiniBand’a dayanır.

Tek GPU işim NVLink veya InfiniBand örneğinde daha mı hızlı çalışır?

Hayır. Her iki bağlantı da sadece veri GPU’lar veya düğümler arasında hareket ettiğinde önemlidir. Bir GPU’ya sığan iş hiçbir zaman bu yapılarla temas etmez, dolayısıyla kullanamayacağınız kapasite için prim ödersiniz. Bunları sadece bir GPU’dan fazlasına ölçeklenirken filtreleyin.

Büyük eğitim işlerinde neden bağlantı, GPU başına özelliklerden daha mı önemlidir?

Dağıtık eğitim, her adımın büyük bir kısmını gradyanlar ve aktivasyonlar değiş tokuş ederek geçirir. Eğer yapı hızına yetişemezse, GPU’lar senkronizasyon için beklerken boşta kalır ve daha fazla GPU eklemek azalan getiri sağlar. Hızlı bir bağlantı, hızlandırıcı ekledikçe neredeyse doğrusal ölçeklenmeyi koruyan şeydir.

Her çoklu GPU örneğinde NVLink mevcut mu?

Hayır. Bazı çoklu GPU düğümleri kartlarını sadece PCIe üzerinden bağlar, bu da çok daha düşük GPU’dan GPU’ya bant genişliği demektir. Birden fazla GPU’nun varlığı NVLink garantisi vermez, bu yüzden bağlantıyı GPU sayısından varsaymak yerine yukarıdaki karşılaştırmada açıkça doğrulayın.