Penyedia GPU Cloud dengan NVLink atau InfiniBand

Apa yang sebenarnya dilakukan NVLink dan InfiniBand saat Anda menyewa komputasi multi-GPU

NVLink dan InfiniBand memecahkan masalah mendasar yang sama dari dua sisi mesin yang berbeda: memindahkan data antar GPU dengan cukup cepat sehingga akselerator menghabiskan waktu mereka untuk menghitung daripada menunggu. Filter di atas mempersempit daftar ke instance cloud yang menampilkan satu atau kedua interkoneksi ini. Mereka tidak dapat saling menggantikan — satu adalah intra-node fabric yang menghubungkan GPU di dalam satu server, dan yang lain adalah inter-node fabric yang menghubungkan server menjadi sebuah klaster. Untuk beban kerja apa pun yang melibatkan lebih dari satu GPU, interkoneksi sering menjadi perbedaan antara skala hampir linier dan pengaturan di mana menambah GPU hampir tidak membantu.

NVLink: jalur cepat antar GPU di dalam satu kotak

NVLink adalah tautan langsung GPU-ke-GPU dari NVIDIA. Alih-alih mengarahkan lalu lintas melalui bus PCIe host dan CPU, NVLink menghubungkan GPU satu sama lain (dan pada beberapa platform melalui NVSwitch crossbar) sehingga setiap GPU dalam node dapat berkomunikasi dengan setiap GPU lain dengan bandwidth tinggi dan latensi rendah. Hasil praktis ketika Anda menyewa instance yang dilengkapi NVLink:

• Bandwidth GPU-ke-GPU yang jauh lebih tinggi dibandingkan node yang hanya menggunakan PCIe, yang penting setiap kali gradien, aktivasi, atau pecahan model harus dipertukarkan pada setiap langkah.
• Memori gabungan antar GPU dalam praktiknya — model yang terlalu besar untuk VRAM satu GPU dapat dibagi di seluruh domain NVLink dengan lalu lintas antar GPU tetap berada di fabric cepat daripada merayap melalui PCIe.
• Overhead sinkronisasi yang lebih rendah untuk operasi kolektif seperti all-reduce, yang mendominasi pelatihan data-paralel.

NVLink berada di dalam satu node, jadi cakupannya biasanya 2, 4, atau 8 GPU tergantung desain server. Jika penyedia dalam daftar di atas mengiklankan node 8-GPU “dengan NVLink,” itu berarti delapan kartu tersebut terhubung erat. Ini tidak menjelaskan, dengan sendirinya, bagaimana node itu terhubung ke node lain.

InfiniBand: fabric yang mengubah banyak server menjadi satu klaster

InfiniBand adalah teknologi jaringan yang digunakan untuk menghubungkan server GPU terpisah. Ketika pekerjaan pelatihan melebihi kapasitas satu node, hambatan berpindah dari dalam kotak ke antar kotak, dan jaringan Ethernet biasa dapat membuat GPU terhambat. InfiniBand mengatasi ini dengan throughput per-link yang sangat tinggi, latensi rendah dan dapat diprediksi, serta RDMA (remote direct memory access), yang memungkinkan satu server membaca atau menulis memori server lain tanpa melibatkan CPU di kedua sisi. Dipadukan dengan GPUDirect RDMA, data dapat bergerak dari GPU ke GPU antar node sambil sebagian besar melewati salinan memori host.

Untuk pelatihan multi-node, inilah yang menjaga efisiensi skala. Alasan mengapa klaster yang terdiri dari puluhan atau ratusan GPU dapat melatih model besar dalam waktu yang wajar adalah karena fabric antar-node mampu mengikuti komunikasi kolektif yang diminta algoritma. Jika menggunakan jaringan komoditas biasa, pekerjaan yang sama bisa menghabiskan sebagian besar waktu nyata menunggu jaringan.

Beban kerja mana yang sebenarnya membutuhkan ini

Memfilter untuk NVLink atau InfiniBand masuk akal ketika komunikasi, bukan hanya komputasi murni, berada di jalur kritis:

• Pelatihan dan penyetelan model besar yang membagi parameter, status optimizer, atau lapisan antar GPU (tensor, pipeline, atau data paralel yang sepenuhnya dibagi) — skema ini menghasilkan lalu lintas antar GPU yang konstan dan paling diuntungkan dari NVLink dalam satu node dan InfiniBand antar node.
• Pelatihan terdistribusi multi-node di mana pekerjaan tidak muat dalam satu server — di sini InfiniBand menjadi faktor penentu efisiensi skala.
• HPC dan simulasi ilmiah dengan komunikasi antar proses yang ketat, yang telah bergantung pada InfiniBand dan RDMA selama bertahun-tahun.
• Inferensi konteks besar atau model besar yang membagi satu model di beberapa GPU, di mana NVLink mengurangi penalti latensi akses perhatian dan bobot antar GPU.

Ini benar-benar berlebihan untuk pekerjaan satu GPU. Penyetelan model kecil, menjalankan inferensi batch yang muat di satu kartu, sebagian besar pekerjaan rendering, dan eksperimen berjalan baik pada GPU tunggal. Membayar lebih untuk node yang terhubung erat atau klaster InfiniBand tidak membawa manfaat jika pekerjaan Anda tidak pernah melewati batas GPU.

Apa yang harus diperiksa sebelum Anda menyewa

Kedua interkoneksi sering disamakan dalam salinan pemasaran, jadi verifikasi spesifikasinya dengan perbandingan di atas:

• Cakupan — pastikan apakah listing berarti NVLink (pengikatan GPU dalam node) atau InfiniBand (jaringan antar node). Instance satu node bisa memiliki NVLink tanpa InfiniBand sama sekali.
• Topologi dan lebar — berapa banyak GPU yang berbagi domain NVLink (NVSwitch all-to-all penuh vs. jembatan parsial), dan kecepatan link InfiniBand serta apakah RDMA/GPUDirect diaktifkan.
• Generasi — generasi GPU yang lebih baru membawa NVLink dengan bandwidth lebih tinggi; label “NVLink” saja tidak memberi tahu kecepatan.
• Ketersediaan multi-node — apakah Anda benar-benar bisa memesan beberapa node yang terhubung, dan apakah mereka berada dalam fabric yang sama bukan tersebar di seluruh pusat data.
• Dukungan perangkat lunak — bahwa NCCL, MPI, dan framework Anda melihat dan menggunakan fabric; konfigurasi yang salah diam-diam akan kembali ke jalur lambat.

Mengenai biaya dan ketersediaan, instance dengan interkoneksi kaya berada di ujung spektrum yang lebih tinggi. Node multi-GPU yang dilengkapi NVLink dan klaster yang terhubung InfiniBand menggunakan perangkat keras premium dan permintaannya stabil, jadi kapasitas on-demand lebih ketat dan opsi spot atau interruptible lebih langka dibandingkan GPU komoditas tunggal. Alokasi InfiniBand multi-node khususnya sering dibatasi, dipesan, atau dijual dalam blok yang lebih besar. Anggap harga dalam tabel di atas sebagai referensi langsung, karena tarif bergerak dan berbeda menurut penyedia.

Pertanyaan yang sering diajukan

Apakah saya perlu kedua NVLink dan InfiniBand?

Tergantung skala. Pekerjaan multi-GPU dalam satu node hanya membutuhkan NVLink. Begitu pelatihan Anda melibatkan beberapa server, Anda juga memerlukan InfiniBand yang menghubungkan node-node tersebut — keduanya beroperasi pada lapisan berbeda, jadi klaster besar biasanya mengandalkan NVLink di dalam setiap kotak dan InfiniBand antar kotak.

Apakah beban kerja satu GPU saya akan berjalan lebih cepat pada instance NVLink atau InfiniBand?

Tidak. Kedua interkoneksi hanya penting saat data bergerak antar GPU atau antar node. Beban kerja yang muat di satu GPU tidak pernah menyentuh fabric mana pun, jadi Anda akan membayar premi untuk kapasitas yang tidak bisa Anda gunakan. Filter ini hanya gunakan saat Anda melakukan skala lebih dari satu GPU.

Mengapa interkoneksi lebih penting daripada spesifikasi per-GPU untuk pekerjaan pelatihan besar?

Pelatihan terdistribusi menghabiskan sebagian besar setiap langkah untuk bertukar gradien dan aktivasi. Jika fabric tidak mampu mengikuti, GPU menganggur saat menunggu sinkronisasi, dan menambah GPU menghasilkan hasil yang semakin berkurang. Interkoneksi cepat adalah yang menjaga skala hampir linier saat Anda menambah akselerator.

Apakah NVLink tersedia di setiap instance multi-GPU?

Tidak. Beberapa node multi-GPU hanya menghubungkan kartu mereka melalui PCIe, yang memiliki bandwidth GPU-ke-GPU jauh lebih rendah. Kehadiran beberapa GPU tidak menjamin NVLink, jadi pastikan interkoneksi secara eksplisit dalam perbandingan di atas daripada mengasumsikannya dari jumlah GPU.