Penyedia GPU Cloud dengan NVLink atau InfiniBand

Apa yang sebenarnya dilakukan NVLink dan InfiniBand saat Anda menyewa komputasi multi-GPU

NVLink dan InfiniBand menyelesaikan masalah mendasar yang sama dari dua sisi mesin yang berbeda: memindahkan data antar GPU dengan cukup cepat sehingga akselerator menghabiskan waktu mereka untuk menghitung daripada menunggu. Filter di atas mempersempit daftar ke instance cloud yang menampilkan satu atau kedua interkoneksi ini. Mereka tidak dapat saling menggantikan — satu adalah intra-node fabric yang menghubungkan GPU di dalam satu server, dan yang lainnya adalah inter-node fabric yang menghubungkan server menjadi sebuah klaster. Untuk beban kerja apa pun yang melibatkan lebih dari satu GPU, interkoneksi sering kali menjadi perbedaan antara skala hampir linier dan pengaturan di mana menambahkan GPU hampir tidak membantu.

NVLink: jalur cepat antara GPU di dalam satu kotak

NVLink adalah tautan langsung GPU-ke-GPU dari NVIDIA. Alih-alih mengarahkan lalu lintas melalui bus PCIe host dan CPU, NVLink menghubungkan GPU satu sama lain (dan pada beberapa platform melalui NVSwitch crossbar) sehingga setiap GPU di node dapat berkomunikasi dengan setiap GPU lain dengan bandwidth tinggi dan latensi rendah. Dampak praktis saat Anda menyewa instance yang dilengkapi NVLink:

• Bandwidth GPU-ke-GPU yang jauh lebih tinggi dibandingkan node yang hanya menggunakan PCIe, yang penting saat gradien, aktivasi, atau pecahan model harus dipertukarkan pada setiap langkah.
• Memori gabungan antar GPU dalam praktiknya — model yang terlalu besar untuk VRAM satu GPU dapat dibagi di seluruh domain NVLink dengan lalu lintas antar GPU tetap berada di fabric cepat daripada merayap melalui PCIe.
• Overhead sinkronisasi yang lebih rendah untuk operasi kolektif seperti all-reduce, yang mendominasi pelatihan data-paralel.

NVLink berada di dalam satu node, jadi cakupannya biasanya 2, 4, atau 8 GPU tergantung desain server. Jika penyedia dalam daftar di atas mengiklankan node 8-GPU “dengan NVLink,” itu berarti delapan kartu tersebut terhubung erat. Ini tidak mengatakan apa pun, sendirian, tentang bagaimana node itu terhubung ke node lain.

InfiniBand: fabric yang mengubah banyak server menjadi satu klaster

InfiniBand adalah teknologi jaringan yang digunakan untuk menghubungkan server GPU terpisah. Ketika pekerjaan pelatihan melebihi satu node, hambatan berpindah dari dalam kotak ke antar kotak, dan jaringan Ethernet biasa dapat membuat GPU terhenti. InfiniBand mengatasi ini dengan throughput per-link yang sangat tinggi, latensi rendah dan dapat diprediksi, serta RDMA (remote direct memory access), yang memungkinkan satu server membaca atau menulis memori server lain tanpa melibatkan CPU di kedua sisi. Dipasangkan dengan GPUDirect RDMA, data dapat bergerak dari GPU ke GPU antar node sambil sebagian besar melewati salinan memori host.

Untuk pelatihan multi-node, inilah yang menjaga efisiensi skala. Alasan klaster yang terdiri dari, misalnya, puluhan atau ratusan GPU dapat melatih model besar dalam waktu yang wajar adalah karena fabric antar-node dapat mengikuti komunikasi kolektif yang diminta algoritma. Jika menggunakan jaringan komoditas, pekerjaan yang sama bisa menghabiskan sebagian besar waktu jam dindingnya menunggu jaringan.

Beban kerja mana yang benar-benar membutuhkan ini

Memfilter untuk NVLink atau InfiniBand masuk akal ketika komunikasi, bukan hanya komputasi murni, berada di jalur kritis:

• Pelatihan dan fine-tuning model besar yang membagi parameter, status optimizer, atau lapisan di antara GPU (tensor, pipeline, atau data paralel yang sepenuhnya dibagi) — skema ini menghasilkan lalu lintas antar GPU yang konstan dan paling diuntungkan dari NVLink dalam satu node dan InfiniBand antar node.
• Pelatihan terdistribusi multi-node di mana pekerjaan tidak muat dalam satu server — di sini InfiniBand adalah faktor penentu efisiensi skala.
• HPC dan simulasi ilmiah dengan komunikasi antar proses yang ketat, yang telah mengandalkan InfiniBand dan RDMA selama bertahun-tahun.
• Inferensi konteks besar atau model besar yang membagi satu model di beberapa GPU, di mana NVLink mengurangi penalti latensi akses perhatian dan bobot antar GPU.

Ini benar-benar berlebihan untuk pekerjaan single-GPU. Fine-tuning model kecil, menjalankan inferensi batch yang muat di satu kartu, sebagian besar pekerjaan rendering, dan eksperimen berjalan baik pada GPU tunggal. Membayar lebih untuk node yang sangat terhubung atau klaster InfiniBand tidak membawa manfaat jika pekerjaan Anda tidak pernah melewati batas GPU.

Apa yang harus diperiksa sebelum Anda menyewa

Kedua interkoneksi sering disamakan dalam salinan pemasaran, jadi verifikasi spesifiknya terhadap perbandingan di atas:

• Cakupan — pastikan apakah daftar tersebut berarti NVLink (pengikatan GPU dalam node) atau InfiniBand (jaringan antar node). Instance satu node dapat memiliki NVLink dan tidak ada InfiniBand sama sekali.
• Topologi dan lebar — berapa banyak GPU yang berbagi domain NVLink (NVSwitch all-to-all penuh vs. jembatan parsial), dan kecepatan link InfiniBand serta apakah RDMA/GPUDirect diaktifkan.
• Generasi — generasi GPU yang lebih baru membawa NVLink dengan bandwidth lebih tinggi; label “NVLink” saja tidak memberi tahu Anda kecepatannya.
• Ketersediaan multi-node — apakah Anda benar-benar dapat memesan beberapa node yang terhubung, dan apakah mereka berada dalam fabric yang sama daripada tersebar di seluruh pusat data.
• Dukungan perangkat lunak — bahwa NCCL, MPI, dan framework Anda melihat dan menggunakan fabric; konfigurasi yang salah diam-diam kembali ke jalur lambat.

Mengenai biaya dan ketersediaan, instance yang kaya interkoneksi berada di ujung spektrum yang lebih tinggi. Node multi-GPU yang dilengkapi NVLink dan klaster yang terhubung InfiniBand menggunakan perangkat keras premium dan permintaan stabil, jadi kapasitas on-demand lebih ketat dan opsi spot atau interruptible lebih langka dibandingkan GPU komoditas tunggal. Alokasi InfiniBand multi-node khususnya sering dibatasi, dipesan, atau dijual dalam blok yang lebih besar. Anggap harga dalam tabel di atas sebagai referensi langsung, karena tarif berubah dan berbeda menurut penyedia.

Pertanyaan yang sering diajukan

Apakah saya perlu kedua NVLink dan InfiniBand?

Tergantung pada skala. Pekerjaan multi-GPU satu node hanya membutuhkan NVLink. Begitu pelatihan Anda melibatkan beberapa server, Anda juga menginginkan InfiniBand yang menghubungkan node-node tersebut — keduanya beroperasi di lapisan yang berbeda, jadi klaster besar biasanya mengandalkan NVLink di dalam setiap kotak dan InfiniBand antar kotak.

Apakah beban kerja single-GPU saya akan berjalan lebih cepat pada instance NVLink atau InfiniBand?

Tidak. Kedua interkoneksi hanya penting saat data bergerak antar GPU atau antar node. Beban kerja yang muat pada satu GPU tidak pernah menyentuh fabric mana pun, jadi Anda akan membayar premi untuk kapasitas yang tidak dapat Anda gunakan. Filter ini hanya saat Anda melakukan skala lebih dari satu GPU.

Mengapa interkoneksi lebih penting daripada spesifikasi per-GPU untuk pekerjaan pelatihan besar?

Pelatihan terdistribusi menghabiskan sebagian besar setiap langkah untuk bertukar gradien dan aktivasi. Jika fabric tidak mampu mengikuti, GPU menganggur saat menunggu sinkronisasi, dan menambah GPU lebih banyak menghasilkan pengembalian yang semakin berkurang. Interkoneksi cepat adalah yang menjaga skala hampir linier saat Anda menambah akselerator.

Apakah NVLink tersedia di setiap instance multi-GPU?

Tidak. Beberapa node multi-GPU menghubungkan kartu mereka hanya melalui PCIe, yang memiliki bandwidth GPU-ke-GPU jauh lebih rendah. Kehadiran beberapa GPU tidak menjamin NVLink, jadi pastikan interkoneksi secara eksplisit dalam perbandingan di atas daripada mengasumsikannya dari jumlah GPU.