Penyedia GPU Awan dengan NVLink atau InfiniBand

Apa sebenarnya yang dilakukan NVLink dan InfiniBand apabila anda menyewa pengkomputeran multi-GPU

NVLink dan InfiniBand menyelesaikan masalah asas yang sama dari dua sisi mesin yang berbeza: memindahkan data antara GPU dengan cukup pantas supaya pemecut menghabiskan masa mereka untuk mengira dan bukan menunggu. Penapis di atas mengecilkan senarai kepada instans awan yang mendedahkan satu atau kedua-dua interkoneksi ini. Mereka tidak boleh ditukar ganti — satu adalah fabrik intra-node yang menghubungkan GPU di dalam satu pelayan, dan satu lagi adalah fabrik inter-node yang menghubungkan pelayan bersama-sama menjadi satu kluster. Untuk sebarang beban kerja yang merangkumi lebih daripada satu GPU, interkoneksi sering menjadi perbezaan antara penskalaan hampir linear dan satu susunan di mana penambahan GPU hampir tidak membantu.

NVLink: laluan pantas antara GPU dalam satu kotak

NVLink adalah pautan langsung GPU-ke-GPU milik NVIDIA. Daripada menghala trafik melalui bas PCIe hos dan CPU, NVLink menghubungkan GPU antara satu sama lain (dan pada beberapa platform melalui penukar silang NVSwitch) supaya setiap GPU dalam nod boleh berkomunikasi dengan setiap GPU lain pada lebar jalur tinggi dengan latensi rendah. Kesan praktikal apabila anda menyewa instans yang dilengkapi NVLink:

• Lebar jalur GPU-ke-GPU yang jauh lebih tinggi berbanding nod hanya PCIe, yang penting apabila gradien, pengaktifan, atau serpihan model perlu ditukar pada setiap langkah.
• Memori berkongsi merentasi GPU dalam praktik — model yang terlalu besar untuk VRAM satu GPU boleh dibahagikan merentasi domain NVLink dengan trafik merentasi GPU kekal pada fabrik pantas itu dan bukan merangkak melalui PCIe.
• Overhed penyelarasan yang lebih rendah untuk operasi kolektif seperti all-reduce, yang mendominasi latihan data-paralel.

NVLink wujud di dalam satu nod sahaja, jadi skopnya biasanya 2, 4, atau 8 GPU bergantung pada reka bentuk pelayan. Jika penyedia dalam senarai di atas mengiklankan nod 8-GPU “dengan NVLink,” itu bermakna lapan kad tersebut dipaut rapat. Ia tidak memberitahu apa-apa, dengan sendirinya, tentang bagaimana nod itu disambungkan kepada nod lain.

InfiniBand: fabrik yang mengubah banyak pelayan menjadi satu kluster

InfiniBand adalah teknologi rangkaian yang digunakan untuk menghubungkan pelayan GPU yang berasingan. Apabila tugasan latihan melebihi satu nod, halangan berpindah dari dalam kotak ke antara kotak, dan rangkaian Ethernet biasa boleh menyebabkan GPU tersekat. InfiniBand menangani ini dengan kadar pautan yang sangat tinggi, latensi rendah dan boleh diramal, serta RDMA (akses memori langsung jauh), yang membolehkan satu pelayan membaca atau menulis memori pelayan lain tanpa melibatkan CPU di kedua-dua pihak. Dipadankan dengan GPUDirect RDMA, data boleh bergerak dari GPU ke GPU merentasi nod sambil sebahagian besarnya memintas salinan memori hos.

Untuk latihan multi-nod, inilah yang memastikan penskalaan cekap. Sebab kluster, katakan, berpuluh-puluh atau beratus-ratus GPU boleh melatih model besar dalam masa yang munasabah adalah kerana fabrik inter-node dapat mengejar komunikasi kolektif yang diperlukan oleh algoritma. Jika menggunakan rangkaian komoditi, tugasan yang sama boleh menghabiskan sebahagian besar masa jam dindingnya menunggu rangkaian.

Beban kerja mana yang sebenarnya memerlukan ini

Penapisan untuk NVLink atau InfiniBand masuk akal apabila komunikasi, bukan hanya pengiraan mentah, berada di laluan kritikal:

• Latihan dan penalaan model besar yang membahagikan parameter, keadaan pengoptimum, atau lapisan merentasi GPU (paralel tensor, saluran paip, atau data paralel yang sepenuhnya dibahagikan) — skim ini menghasilkan trafik merentasi GPU yang berterusan dan paling mendapat manfaat daripada NVLink dalam nod dan InfiniBand merentasi nod.
• Latihan teragih multi-nod di mana tugasan tidak muat dalam satu pelayan — di sini InfiniBand adalah faktor penentu untuk kecekapan penskalaan.
• HPC dan simulasi saintifik dengan komunikasi antara proses yang ketat, yang telah bergantung pada InfiniBand dan RDMA selama bertahun-tahun.
• Inferens konteks besar atau model besar yang membahagikan satu model merentasi beberapa GPU, di mana NVLink mengurangkan penalti latensi akses perhatian dan berat merentasi GPU.

Ia benar-benar berlebihan untuk kerja satu GPU. Penalaan model kecil, menjalankan inferens kelompok yang muat pada satu kad, kebanyakan tugasan rendering, dan eksperimen semuanya berjalan dengan baik pada GPU berdiri sendiri. Membayar premium untuk nod yang dipaut rapat atau kluster InfiniBand tidak memberi manfaat jika tugasan anda tidak pernah melintasi sempadan GPU.

Apa yang perlu diperiksa sebelum anda menyewa

Kedua-dua interkoneksi sering disamakan dalam salinan pemasaran, jadi sahkan butiran mengikut perbandingan di atas:

• Skop — sahkan sama ada senarai bermaksud NVLink (pautan GPU dalam nod) atau InfiniBand (rangkaian antara nod). Satu instans satu nod boleh mempunyai NVLink dan tiada InfiniBand langsung.
• Topologi dan lebar — berapa banyak GPU berkongsi domain NVLink (NVSwitch semua-ke-semua penuh vs jambatan separa), dan kadar pautan InfiniBand serta sama ada RDMA/GPUDirect diaktifkan.
• Generasi — generasi GPU yang lebih baru membawa NVLink berlebar jalur lebih tinggi; label “NVLink” sahaja tidak memberitahu anda kelajuan.
• Ketersediaan multi-nod — sama ada anda benar-benar boleh menempah beberapa nod yang dipautkan, dan sama ada mereka berada dalam fabrik yang sama dan bukan tersebar di pusat data.
• Sokongan perisian — supaya NCCL, MPI, dan rangka kerja anda dapat melihat dan menggunakan fabrik; konfigurasi salah akan diam-diam kembali ke laluan perlahan.

Dari segi kos dan ketersediaan, instans kaya interkoneksi berada di hujung spektrum yang lebih tinggi. Nod multi-GPU yang dilengkapi NVLink dan kluster yang disambungkan InfiniBand menggunakan perkakasan premium dan sentiasa mendapat permintaan, jadi kapasiti atas permintaan lebih ketat dan pilihan spot atau boleh diganggu lebih terhad berbanding GPU komoditi tunggal. Peruntukan InfiniBand multi-nod khususnya sering dikawal, ditempah, atau dijual dalam blok yang lebih besar. Anggap harga dalam jadual di atas sebagai rujukan langsung, kerana kadar berubah dan berbeza mengikut penyedia.

Soalan lazim

Adakah saya perlu kedua-dua NVLink dan InfiniBand?

Ia bergantung pada skala. Tugasan multi-GPU satu nod hanya memerlukan NVLink. Pada saat latihan anda merangkumi pelbagai pelayan, anda juga memerlukan InfiniBand yang menghubungkan nod tersebut — kedua-duanya beroperasi pada lapisan yang berbeza, jadi kluster besar biasanya bergantung pada NVLink dalam setiap kotak dan InfiniBand antara kotak.

Adakah beban kerja satu GPU saya akan berjalan lebih pantas pada instans NVLink atau InfiniBand?

Tidak. Kedua-dua interkoneksi hanya penting apabila data bergerak antara GPU atau antara nod. Beban kerja yang muat pada satu GPU tidak pernah menggunakan fabrik mana-mana, jadi anda akan membayar premium untuk kapasiti yang anda tidak boleh gunakan. Tapis untuk ini hanya apabila anda menskalakan melebihi satu GPU.

Mengapa interkoneksi lebih penting daripada spesifikasi per-GPU untuk tugasan latihan besar?

Latihan teragih menghabiskan sebahagian besar setiap langkah untuk bertukar gradien dan pengaktifan. Jika fabrik tidak dapat mengejar, GPU akan menganggur sementara menunggu penyelarasan, dan menambah lebih banyak GPU menghasilkan pulangan yang berkurangan. Interkoneksi pantas adalah apa yang mengekalkan penskalaan hampir linear apabila anda menambah pemecut.

Adakah NVLink tersedia pada setiap instans multi-GPU?

Tidak. Sesetengah nod multi-GPU hanya menghubungkan kad mereka melalui PCIe, yang mempunyai lebar jalur GPU-ke-GPU jauh lebih rendah. Kehadiran pelbagai GPU tidak menjamin NVLink, jadi sahkan interkoneksi secara eksplisit dalam perbandingan di atas dan jangan andaian berdasarkan bilangan GPU.