Penyedia GPU Awan dengan NVLink atau InfiniBand

Apa yang sebenarnya dilakukan oleh NVLink dan InfiniBand apabila anda menyewa pengkomputeran multi-GPU

NVLink dan InfiniBand menyelesaikan masalah asas yang sama dari dua sisi mesin yang berbeza: memindahkan data antara GPU dengan cukup pantas supaya pemecut menghabiskan masa mereka untuk mengira dan bukan menunggu. Penapis di atas mengecilkan senarai kepada instans awan yang mendedahkan satu atau kedua-dua sambungan ini. Mereka tidak boleh ditukar ganti — satu adalah fabrik intra-node yang menghubungkan GPU di dalam satu pelayan, dan satu lagi adalah fabrik inter-node yang menghubungkan pelayan bersama-sama menjadi satu kluster. Untuk sebarang beban kerja yang merangkumi lebih daripada satu GPU, sambungan ini sering menjadi perbezaan antara penskalaan hampir linear dan satu susunan di mana menambah GPU hampir tidak membantu.

NVLink: laluan pantas antara GPU dalam satu kotak

NVLink adalah pautan terus GPU-ke-GPU oleh NVIDIA. Daripada menghala trafik melalui bas PCIe hos dan CPU, NVLink menghubungkan GPU antara satu sama lain (dan pada beberapa platform melalui silang NVSwitch) supaya setiap GPU dalam node boleh berkomunikasi dengan setiap GPU lain pada lebar jalur tinggi dengan latensi rendah. Kesannya secara praktikal apabila anda menyewa instans yang dilengkapi NVLink:

• Lebar jalur GPU-ke-GPU yang jauh lebih tinggi berbanding nod yang hanya menggunakan PCIe, yang penting apabila gradien, pengaktifan, atau serpihan model perlu ditukar pada setiap langkah.
• Memori berkumpulan merentasi GPU dalam praktik — model yang terlalu besar untuk VRAM satu GPU boleh dibahagikan merentasi domain NVLink dengan trafik merentasi GPU kekal di fabrik pantas dan tidak merangkak melalui PCIe.
• Overhed penyegerakan yang lebih rendah untuk operasi kolektif seperti all-reduce, yang mendominasi latihan data-paralel.

NVLink berada di dalam satu node sahaja, jadi skopnya biasanya 2, 4, atau 8 GPU bergantung pada reka bentuk pelayan. Jika penyedia dalam senarai di atas mengiklankan node 8-GPU “dengan NVLink,” itu bermakna lapan kad tersebut dipautkan rapat. Ia tidak memberitahu apa-apa, dengan sendirinya, tentang bagaimana node itu disambungkan kepada node lain.

InfiniBand: fabrik yang mengubah banyak pelayan menjadi satu kluster

InfiniBand adalah teknologi rangkaian yang digunakan untuk menghubungkan pelayan GPU berasingan. Apabila kerja latihan melebihi satu node, halangan beralih dari dalam kotak ke antara kotak, dan rangkaian Ethernet biasa boleh menyebabkan GPU tersekat. InfiniBand mengatasi ini dengan kadar pautan yang sangat tinggi, latensi rendah dan boleh diramal, serta RDMA (akses memori jauh terus), yang membolehkan satu pelayan membaca atau menulis memori pelayan lain tanpa melibatkan CPU di kedua-dua belah. Dipadankan dengan GPUDirect RDMA, data boleh bergerak dari GPU ke GPU merentasi node sambil sebahagian besarnya memintas salinan memori hos.

Untuk latihan multi-node, inilah yang memastikan penskalaan efisien. Sebab kluster yang terdiri daripada, katakan, puluhan atau ratusan GPU boleh melatih model besar dalam masa yang munasabah adalah kerana fabrik inter-node dapat mengikuti komunikasi kolektif yang diperlukan oleh algoritma. Jika menggunakan rangkaian biasa, kerja yang sama boleh menghabiskan sebahagian besar masa jam dinding menunggu rangkaian.

Beban kerja mana yang sebenarnya memerlukan ini

Penapisan untuk NVLink atau InfiniBand masuk akal apabila komunikasi, bukan hanya pengiraan mentah, berada di laluan kritikal:

• Latihan dan penalaan model besar yang membahagikan parameter, keadaan pengoptimum, atau lapisan merentasi GPU (paralel tensor, saluran paip, atau data paralel sepenuhnya berserakan) — skema ini menghasilkan trafik merentasi GPU yang berterusan dan mendapat manfaat paling banyak daripada NVLink dalam node dan InfiniBand merentasi node.
• Latihan diedarkan multi-node di mana kerja tidak muat dalam satu pelayan — di sini InfiniBand adalah faktor penentu untuk kecekapan penskalaan.
• HPC dan simulasi saintifik dengan komunikasi antara proses yang rapat, yang telah bergantung pada InfiniBand dan RDMA selama bertahun-tahun.
• Inferens konteks besar atau model besar yang membahagikan satu model merentasi pelbagai GPU, di mana NVLink mengurangkan penalti latensi akses perhatian dan berat merentasi GPU.

Ia benar-benar berlebihan untuk kerja satu GPU. Penalaan model kecil, menjalankan inferens kelompok yang muat pada satu kad, kebanyakan kerja rendering, dan eksperimen semua berjalan dengan baik pada GPU berdiri sendiri. Membayar premium untuk node yang saling berhubung rapat atau kluster InfiniBand tidak membawa faedah jika kerja anda tidak pernah melintasi sempadan GPU.

Apa yang perlu diperiksa sebelum anda menyewa

Kedua-dua sambungan ini sering disamakan dalam salinan pemasaran, jadi sahkan butiran mengikut perbandingan di atas:

• Skop — sahkan sama ada senarai itu bermaksud NVLink (pengikatan GPU dalam node) atau InfiniBand (rangkaian antara node). Instans satu node boleh mempunyai NVLink dan tiada InfiniBand langsung.
• Topologi dan lebar — berapa banyak GPU berkongsi domain NVLink (NVSwitch penuh semua-ke-semua vs jambatan separa), dan kadar pautan InfiniBand serta sama ada RDMA/GPUDirect diaktifkan.
• Generasi — generasi GPU yang lebih baru membawa NVLink dengan lebar jalur lebih tinggi; label “NVLink” sahaja tidak memberitahu anda kelajuannya.
• Ketersediaan multi-node — sama ada anda benar-benar boleh menempah beberapa node yang saling berhubung, dan sama ada mereka berada dalam fabrik yang sama dan tidak tersebar di seluruh pusat data.
• Sokongan perisian — bahawa NCCL, MPI, dan rangka kerja anda melihat dan menggunakan fabrik; salah konfigurasi akan diam-diam kembali ke laluan perlahan.

Dari segi kos dan ketersediaan, instans yang kaya dengan sambungan berada di hujung spektrum yang lebih tinggi. Node multi-GPU yang dilengkapi NVLink dan kluster yang disambungkan InfiniBand menggunakan perkakasan premium dan sentiasa mendapat permintaan, jadi kapasiti atas permintaan lebih ketat dan pilihan spot atau boleh diganggu lebih terhad berbanding GPU komoditi tunggal. Peruntukan InfiniBand multi-node khususnya sering dikawal, ditempah, atau dijual dalam blok yang lebih besar. Anggap harga dalam jadual di atas sebagai rujukan langsung, kerana kadar berubah dan berbeza mengikut penyedia.

Soalan lazim

Adakah saya perlukan kedua-dua NVLink dan InfiniBand?

Ia bergantung pada skala. Kerja multi-GPU satu node hanya memerlukan NVLink. Apabila latihan anda merangkumi pelbagai pelayan, anda juga mahu InfiniBand menghubungkan node-node tersebut — kedua-duanya beroperasi pada lapisan yang berbeza, jadi kluster besar biasanya bergantung pada NVLink dalam setiap kotak dan InfiniBand antara kotak.

Adakah beban kerja satu GPU saya akan berjalan lebih pantas pada instans NVLink atau InfiniBand?

Tidak. Kedua-dua sambungan hanya penting apabila data bergerak antara GPU atau antara node. Beban kerja yang muat pada satu GPU tidak pernah menggunakan fabrik mana-mana, jadi anda akan membayar premium untuk kapasiti yang tidak boleh anda gunakan. Tapis untuk ini hanya apabila anda menskalakan melebihi satu GPU.

Mengapa sambungan lebih penting daripada spesifikasi per GPU untuk kerja latihan besar?

Latihan diedarkan menghabiskan sebahagian besar setiap langkah untuk bertukar gradien dan pengaktifan. Jika fabrik tidak dapat mengejar, GPU akan menganggur semasa menunggu penyegerakan, dan menambah lebih banyak GPU menghasilkan pulangan yang berkurangan. Sambungan pantas adalah apa yang mengekalkan penskalaan hampir linear apabila anda menambah pemecut.

Adakah NVLink tersedia pada setiap instans multi-GPU?

Tidak. Sesetengah node multi-GPU hanya menghubungkan kad mereka melalui PCIe, yang mempunyai lebar jalur GPU-ke-GPU jauh lebih rendah. Kehadiran pelbagai GPU tidak menjamin NVLink, jadi sahkan sambungan secara eksplisit dalam perbandingan di atas dan jangan anggap ia berdasarkan bilangan GPU sahaja.