Penyedia GPU Awan dengan NVLink atau InfiniBand

Apa yang NVLink dan InfiniBand sebenarnya lakukan apabila anda menyewa pengkomputeran multi-GPU

NVLink dan InfiniBand menyelesaikan masalah asas yang sama dari dua sisi mesin yang berbeza: memindahkan data antara GPU dengan cukup pantas supaya pemecut menghabiskan masa mereka untuk mengira dan bukan menunggu. Penapis di atas mengecilkan senarai kepada instans awan yang mendedahkan satu atau kedua-dua sambungan ini. Mereka tidak boleh ditukar ganti — satu adalah fabrik intra-node yang menghubungkan GPU di dalam satu pelayan, dan satu lagi adalah fabrik inter-node yang menghubungkan pelayan-pelayan bersama menjadi satu kluster. Untuk sebarang beban kerja yang merangkumi lebih daripada satu GPU, sambungan ini sering menjadi perbezaan antara penskalaan hampir linear dan satu susunan di mana menambah GPU hampir tidak membantu.

NVLink: laluan pantas antara GPU dalam satu kotak

NVLink adalah pautan langsung GPU-ke-GPU oleh NVIDIA. Daripada menghala trafik melalui bas PCIe hos dan CPU, NVLink menghubungkan GPU antara satu sama lain (dan pada beberapa platform melalui penukar silang NVSwitch) supaya setiap GPU dalam nod boleh berkomunikasi dengan setiap GPU lain pada jalur lebar tinggi dengan latensi rendah. Kesan praktikal apabila anda menyewa instans yang dilengkapi NVLink:

• Jalur lebar GPU-ke-GPU yang jauh lebih tinggi berbanding nod yang hanya menggunakan PCIe, yang penting apabila gradien, pengaktifan, atau serpihan model perlu dipertukarkan pada setiap langkah.
• Memori berkongsi merentas GPU dalam praktik — model yang terlalu besar untuk VRAM satu GPU boleh dibahagikan merentas domain NVLink dengan trafik merentas GPU kekal pada fabrik pantas dan bukannya merangkak melalui PCIe.
• Overhed penyegerakan yang lebih rendah untuk operasi kolektif seperti all-reduce, yang mendominasi latihan data-paralel.

NVLink berada di dalam satu nod sahaja, jadi skopnya biasanya 2, 4, atau 8 GPU bergantung pada reka bentuk pelayan. Jika penyedia dalam senarai di atas mengiklankan nod 8-GPU “dengan NVLink,” itu bermakna lapan kad tersebut dipaut rapat. Ia tidak memberi makna, dengan sendirinya, tentang bagaimana nod itu disambungkan kepada nod lain.

InfiniBand: fabrik yang mengubah banyak pelayan menjadi satu kluster

InfiniBand adalah teknologi rangkaian yang digunakan untuk menghubungkan pelayan GPU yang berasingan. Apabila kerja latihan melebihi satu nod, halangan berpindah dari dalam kotak ke antara kotak, dan rangkaian Ethernet biasa boleh melambatkan GPU. InfiniBand mengatasi ini dengan kadar throughput per pautan yang sangat tinggi, latensi rendah dan boleh diramal, serta RDMA (akses memori langsung jauh), yang membolehkan satu pelayan membaca atau menulis memori pelayan lain tanpa melibatkan CPU di kedua-dua pihak. Dipadankan dengan GPUDirect RDMA, data boleh bergerak dari GPU ke GPU merentas nod sambil sebahagian besarnya memintas salinan memori hos.

Untuk latihan multi-nod, inilah yang mengekalkan kecekapan penskalaan. Sebab kluster yang terdiri daripada, katakan, berpuluh-puluh atau beratus-ratus GPU boleh melatih model besar dalam masa yang munasabah adalah kerana fabrik inter-node dapat menampung komunikasi kolektif yang diperlukan oleh algoritma. Jika menggunakan rangkaian komoditi, kerja yang sama boleh menghabiskan sebahagian besar masa jam dindingnya menunggu rangkaian.

Beban kerja mana yang sebenarnya memerlukan ini

Menapis untuk NVLink atau InfiniBand masuk akal apabila komunikasi, bukan hanya pengiraan mentah, berada di laluan kritikal:

• Latihan dan penalaan halus model besar yang membahagikan parameter, keadaan pengoptimum, atau lapisan merentas GPU (paralel tensor, saluran paip, atau data sepenuhnya terpecah) — skema ini menghasilkan trafik merentas GPU yang berterusan dan mendapat manfaat paling banyak daripada NVLink dalam nod dan InfiniBand merentas nod.
• Latihan teragih multi-nod di mana kerja tidak muat dalam satu pelayan — di sini InfiniBand adalah faktor penentu untuk kecekapan penskalaan.
• HPC dan simulasi saintifik dengan komunikasi antara proses yang rapat, yang telah bergantung pada InfiniBand dan RDMA selama bertahun-tahun.
• Inferens konteks besar atau model besar yang membahagikan satu model merentas beberapa GPU, di mana NVLink mengurangkan penalti latensi akses perhatian dan berat merentas GPU.

Ia benar-benar berlebihan untuk kerja satu-GPU. Penalaan halus model kecil, menjalankan inferens kelompok yang muat pada satu kad, kebanyakan kerja rendering, dan eksperimen semua berjalan dengan baik pada GPU berdiri sendiri. Membayar premium untuk nod yang saling berhubung rapat atau kluster InfiniBand tidak membawa manfaat jika kerja anda tidak pernah melintasi sempadan GPU.

Apa yang perlu diperiksa sebelum anda menyewa

Kedua-dua sambungan sering disamakan dalam salinan pemasaran, jadi sahkan butiran mengikut perbandingan di atas:

• Skop — sahkan sama ada senarai itu bermaksud NVLink (pautan GPU dalam nod) atau InfiniBand (rangkaian antara nod). Instans satu nod boleh mempunyai NVLink dan tiada InfiniBand langsung.
• Topologi dan lebar — berapa banyak GPU berkongsi domain NVLink (NVSwitch semua-ke-semua penuh vs jambatan separa), dan kadar pautan InfiniBand serta sama ada RDMA/GPUDirect diaktifkan.
• Generasi — generasi GPU yang lebih baru membawa NVLink jalur lebar lebih tinggi; label “NVLink” sahaja tidak memberitahu anda kelajuannya.
• Ketersediaan multi-nod — sama ada anda benar-benar boleh menempah beberapa nod yang saling berhubung, dan sama ada mereka berada dalam fabrik yang sama dan bukannya tersebar di seluruh pusat data.
• Sokongan perisian — supaya NCCL, MPI, dan rangka kerja anda dapat melihat dan menggunakan fabrik; salah konfigurasi akan diam-diam kembali ke laluan perlahan.

Dari segi kos dan ketersediaan, instans yang kaya dengan sambungan berada di hujung atas spektrum. Nod multi-GPU yang dilengkapi NVLink dan kluster yang disambungkan InfiniBand menggunakan perkakasan premium dan sentiasa mendapat permintaan, jadi kapasiti atas permintaan lebih terhad dan pilihan spot atau boleh diganggu lebih jarang berbanding GPU komoditi tunggal. Peruntukan InfiniBand multi-nod khususnya sering dikawal, ditempah, atau dijual dalam blok yang lebih besar. Anggap harga dalam jadual di atas sebagai rujukan langsung, kerana kadar berubah dan berbeza mengikut penyedia.

Soalan lazim

Adakah saya memerlukan kedua-dua NVLink dan InfiniBand?

Ia bergantung pada skala. Kerja multi-GPU satu nod hanya memerlukan NVLink. Apabila latihan anda merangkumi pelbagai pelayan, anda juga memerlukan InfiniBand yang menghubungkan nod-nod tersebut — kedua-duanya beroperasi pada lapisan berbeza, jadi kluster besar biasanya bergantung pada NVLink dalam setiap kotak dan InfiniBand antara kotak.

Adakah beban kerja satu-GPU saya akan berjalan lebih pantas pada instans NVLink atau InfiniBand?

Tidak. Kedua-dua sambungan hanya penting apabila data bergerak antara GPU atau antara nod. Beban kerja yang muat pada satu GPU tidak pernah menyentuh fabrik mana-mana, jadi anda akan membayar premium untuk kapasiti yang tidak boleh anda gunakan. Tapis untuk ini hanya apabila anda menskalakan melebihi satu GPU.

Mengapa sambungan lebih penting daripada spesifikasi per-GPU untuk kerja latihan besar?

Latihan teragih menghabiskan sebahagian besar setiap langkah untuk bertukar gradien dan pengaktifan. Jika fabrik tidak dapat mengejar, GPU akan menganggur sementara menunggu penyegerakan, dan menambah lebih banyak GPU menghasilkan pulangan yang berkurangan. Sambungan pantas adalah apa yang mengekalkan penskalaan hampir linear apabila anda menambah pemecut.

Adakah NVLink tersedia pada setiap instans multi-GPU?

Tidak. Sesetengah nod multi-GPU hanya menghubungkan kad mereka melalui PCIe, yang mempunyai jalur lebar GPU-ke-GPU jauh lebih rendah. Kehadiran beberapa GPU tidak menjamin NVLink, jadi sahkan sambungan itu secara eksplisit dalam perbandingan di atas dan jangan anggap hanya berdasarkan bilangan GPU.