NVLink veya InfiniBand ile Bulut GPU Sağlayıcıları

Çoklu GPU hesaplama kiraladığınızda NVLink ve InfiniBand’in aslında ne yaptığı

NVLink ve InfiniBand, makinenin iki farklı tarafından aynı temel sorunu çözer: hızlandırıcıların beklemek yerine hesaplama yapmaları için GPU’lar arasında veriyi yeterince hızlı taşımak. Yukarıdaki filtre, bu bağlantı noktalarından birini veya her ikisini sunan bulut örneklerini daraltır. Bunlar birbirinin yerine geçmez — biri tek bir sunucu içindeki GPU’ları bağlayan düğüm içi bir yapıdır, diğeri ise sunucuları bir küme halinde bağlayan düğümler arası bir yapıdır. Birden fazla GPU’yu kapsayan herhangi bir iş yükü için, bağlantı genellikle neredeyse doğrusal ölçeklenme ile GPU eklemenin neredeyse fayda sağlamadığı bir yapı arasındaki farktır.

NVLink: Bir kutu içindeki GPU’lar arasındaki hızlı yol

NVLink, NVIDIA’nın doğrudan GPU’dan GPU’ya bağlantısıdır. Trafiği ana PCIe veri yolu ve CPU üzerinden yönlendirmek yerine, NVLink GPU’ları birbirine bağlar (ve bazı platformlarda NVSwitch çapraz anahtarı üzerinden) böylece düğümdeki her GPU diğer tüm GPU’larla yüksek bant genişliği ve düşük gecikme ile iletişim kurabilir. NVLink donanımlı bir örnek kiraladığınızda pratik sonuçlar şunlardır:

• PCIe-only düğümlere göre çok daha yüksek GPU’dan GPU’ya bant genişliği, her adımda gradyanlar, aktivasyonlar veya model parçalarının değiş tokuş edilmesi gerektiğinde önemlidir.
• GPU’lar arasında paylaşılan bellek — pratikte, bir GPU’nun VRAM’ine sığmayan bir model NVLink alanı boyunca bölünebilir ve GPU’lar arası trafik PCIe üzerinden sürünmek yerine hızlı yapıda kalır.
• Toplu işlemler için daha düşük senkronizasyon yükü, özellikle veri-paralel eğitimde hakim olan all-reduce gibi işlemler için.

NVLink tek bir düğüm içinde yaşar, bu yüzden kapsamı genellikle sunucu tasarımına bağlı olarak 2, 4 veya 8 GPU’dur. Yukarıdaki listede bir sağlayıcı “NVLink ile 8 GPU düğümü” reklamı yapıyorsa, bu sekiz kartın sıkı şekilde bağlı olduğu anlamına gelir. Bu, tek başına o düğümün diğer düğümlere nasıl bağlandığı hakkında bir şey söylemez.

InfiniBand: Birçok sunucuyu tek bir küme haline getiren yapı

InfiniBand, ayrı GPU sunucularını bağlamak için kullanılan bir ağ teknolojisidir. Eğitim işleri tek bir düğümü aştığında, darboğaz kutu içinden kutular arası iletişime kayar ve sıradan Ethernet ağı GPU’ları durdurabilir. InfiniBand bunu çok yüksek bağlantı başına veri hızı, düşük ve öngörülebilir gecikme ve RDMA (uzaktan doğrudan bellek erişimi) ile çözer; bu, bir sunucunun diğer sunucunun belleğini her iki taraftaki CPU’yu dahil etmeden okuyup yazmasını sağlar. GPUDirect RDMA ile eşleştirildiğinde, veriler düğümler arasında GPU’dan GPU’ya ana bellek kopyalarını büyük ölçüde atlayarak hareket edebilir.

Çok düğümlü eğitim için, bu ölçeklenmenin verimli kalmasını sağlar. Örneğin, onlarca veya yüzlerce GPU’dan oluşan bir kümenin büyük bir modeli makul bir sürede eğitebilmesinin nedeni, düğümler arası yapının algoritmanın talep ettiği toplu iletişimi karşılamasıdır. Ticari ağlara düşerseniz, aynı iş duvar saati zamanının büyük bir kısmını ağda bekleyerek geçirebilir.

Hangi iş yüklerinin buna gerçekten ihtiyacı var

NVLink veya InfiniBand için filtreleme, sadece ham hesaplama değil, iletişimin de kritik yol olduğu durumlarda mantıklıdır:

• Büyük model eğitimi ve ince ayar — parametreleri, optimize edici durumunu veya katmanları GPU’lar arasında parçalayan (tensor, pipeline veya tam parçalanmış veri paralelliği) — bu şemalar sürekli GPU’lar arası trafik üretir ve düğüm içi NVLink ve düğümler arası InfiniBand’den en çok faydalanır.
• Çok düğümlü dağıtık eğitim — iş tek bir sunucuya sığmaz; burada InfiniBand ölçeklenme verimliliği için belirleyicidir.
• Yüksek performanslı hesaplama (HPC) ve bilimsel simülasyonlar — sıkı süreçler arası iletişim gerektirir ve yıllardır InfiniBand ve RDMA’ya dayanır.
• Büyük bağlamlı veya büyük model çıkarımı — tek bir modeli birden fazla GPU’ya böler, burada NVLink GPU’lar arası dikkat ve ağırlık erişiminin gecikme cezasını azaltır.

Tek GPU işleri için gerçekten aşırıdır. Küçük bir modeli ince ayar yapmak, bir kartta sığan toplu çıkarım çalıştırmak, çoğu render işi ve deneyler tek başına bir GPU’da sorunsuz çalışır. Sıkı bağlantılı bir düğüm veya InfiniBand kümesi için prim ödemek, işiniz GPU sınırını hiç geçmiyorsa fayda sağlamaz.

Kiralamadan önce ne kontrol edilmeli

İki bağlantı noktası pazarlama metinlerinde sıkça karıştırılır, bu yüzden yukarıdaki karşılaştırmaya göre ayrıntıları doğrulayın:

• Kapsam — listelemenin NVLink (düğüm içi GPU bağlantısı) mi yoksa InfiniBand (düğümler arası ağ) mı olduğunu doğrulayın. Tek düğümlü bir örnek NVLink içerebilir ama hiç InfiniBand olmayabilir.
• Topoloji ve genişlik — NVLink alanını kaç GPU’nun paylaştığı (tam NVSwitch all-to-all mı yoksa kısmi köprüler mi), InfiniBand bağlantı hızı ve RDMA/GPUDirect’in etkin olup olmadığı.
• Nesil — daha yeni GPU nesilleri daha yüksek bant genişliğine sahip NVLink taşır; sadece “NVLink” etiketi hız hakkında bilgi vermez.
• Çok düğümlü kullanılabilirlik — gerçekten birden fazla birbirine bağlı düğüm ayırtıp ayırtamayacağınız ve bunların veri merkezinde dağınık değil aynı yapıda yer alıp almadığı.
• Yazılım desteği — NCCL, MPI ve kullandığınız çerçevenin yapıyı görüp kullanması; yanlış yapılandırma yavaş yollara sessizce düşer.

Maliyet ve kullanılabilirlik açısından, bağlantı zengini örnekler spektrumun üst ucundadır. NVLink donanımlı çoklu GPU düğümleri ve InfiniBand bağlantılı kümeler premium donanım kullanır ve sürekli talep görür, bu yüzden anlık kapasite daha kısıtlıdır ve spot ya da kesintili seçenekler tek tek sıradan GPU’lara göre daha azdır. Özellikle çok düğümlü InfiniBand tahsisleri genellikle kapalıdır, ayrılmıştır veya daha büyük bloklar halinde satılır. Yukarıdaki tablodaki fiyatları canlı referans olarak kabul edin, çünkü oranlar sağlayıcıya göre değişir ve hareket eder.

Sıkça sorulan sorular

Hem NVLink hem InfiniBand’e ihtiyacım var mı?

Ölçeğe bağlıdır. Tek düğümlü çoklu GPU işi sadece NVLink’e ihtiyaç duyar. Eğitiminiz birden fazla sunucuya yayıldığında, bu düğümleri bağlayan InfiniBand de istersiniz — ikisi farklı katmanlarda çalışır, bu yüzden büyük bir küme genellikle her kutuda NVLink ve kutular arasında InfiniBand kullanır.

Tek GPU işim NVLink veya InfiniBand örneğinde daha mı hızlı çalışır?

Hayır. Her iki bağlantı noktası da sadece GPU’lar veya düğümler arasında veri hareket ettiğinde önemlidir. Bir GPU’ya sığan iş yükü hiçbir zaman bu yapıya dokunmaz, bu yüzden kullanamayacağınız kapasite için prim ödersiniz. Bunlar için filtreleme sadece bir GPU’dan fazlasına ölçeklenirken yapılmalıdır.

Büyük eğitim işleri için neden bağlantı noktası GPU başına özelliklerden daha önemlidir?

Dağıtık eğitim, her adımın büyük bir kısmını gradyanlar ve aktivasyonları değiş tokuş ederek geçirir. Eğer yapı hıza yetişemezse, GPU’lar senkronizasyon için beklerken boşta kalır ve daha fazla GPU eklemek azalan getiri sağlar. Hızlı bir bağlantı noktası, hızlandırıcı ekledikçe neredeyse doğrusal ölçeklenmeyi koruyan şeydir.

Her çoklu GPU örneğinde NVLink var mı?

Hayır. Bazı çoklu GPU düğümleri kartlarını sadece PCIe üzerinden bağlar, bu da çok daha düşük GPU’dan GPU’ya bant genişliği demektir. Birden fazla GPU olması NVLink garantisi vermez, bu yüzden yukarıdaki karşılaştırmada bağlantıyı açıkça doğrulayın, sadece GPU sayısına bakarak varsaymayın.