Penyedia GPU Cloud dengan NVLink atau InfiniBand

Apa yang sebenarnya dilakukan NVLink dan InfiniBand saat Anda menyewa komputasi multi-GPU

NVLink dan InfiniBand menyelesaikan masalah mendasar yang sama dari dua sisi mesin yang berbeda: memindahkan data antar GPU dengan cukup cepat sehingga akselerator menghabiskan waktunya untuk menghitung daripada menunggu. Filter di atas mempersempit daftar ke instance cloud yang menampilkan salah satu atau kedua interkoneksi ini. Mereka tidak dapat saling menggantikan — satu adalah intra-node fabric yang menghubungkan GPU di dalam satu server, dan yang lain adalah inter-node fabric yang menghubungkan server menjadi sebuah cluster. Untuk beban kerja apa pun yang melibatkan lebih dari satu GPU, interkoneksi sering kali menjadi perbedaan antara skala hampir linier dan pengaturan di mana penambahan GPU hampir tidak membantu.

NVLink: jalur cepat antar GPU di dalam satu kotak

NVLink adalah tautan langsung GPU-ke-GPU dari NVIDIA. Alih-alih mengarahkan lalu lintas melalui bus PCIe host dan CPU, NVLink menghubungkan GPU satu sama lain (dan pada beberapa platform melalui NVSwitch crossbar) sehingga setiap GPU dalam node dapat berkomunikasi dengan setiap GPU lain dengan bandwidth tinggi dan latensi rendah. Dampak praktis saat Anda menyewa instance yang dilengkapi NVLink:

• Bandwidth GPU-ke-GPU yang jauh lebih tinggi dibandingkan node yang hanya menggunakan PCIe, yang penting setiap kali gradien, aktivasi, atau bagian model harus dipertukarkan di setiap langkah.
• Memori gabungan antar GPU dalam praktiknya — model yang terlalu besar untuk VRAM satu GPU dapat dibagi di seluruh domain NVLink dengan lalu lintas antar GPU tetap berada di fabric cepat daripada merayap melalui PCIe.
• Overhead sinkronisasi yang lebih rendah untuk operasi kolektif seperti all-reduce, yang mendominasi pelatihan data-paralel.

NVLink berada di dalam satu node, jadi cakupannya biasanya 2, 4, atau 8 GPU tergantung desain server. Jika penyedia dalam daftar di atas mengiklankan node 8-GPU “dengan NVLink,” itu berarti delapan kartu tersebut terhubung erat. Ini tidak menjelaskan, sendirian, bagaimana node itu terhubung ke node lain.

InfiniBand: fabric yang mengubah banyak server menjadi satu cluster

InfiniBand adalah teknologi jaringan yang digunakan untuk menghubungkan server GPU terpisah. Ketika pekerjaan pelatihan melebihi kapasitas satu node, hambatan bergeser dari dalam kotak ke antar kotak, dan jaringan Ethernet biasa bisa membuat GPU terhambat. InfiniBand mengatasi ini dengan throughput per-link yang sangat tinggi, latensi rendah dan dapat diprediksi, serta RDMA (remote direct memory access), yang memungkinkan satu server membaca atau menulis memori server lain tanpa melibatkan CPU di kedua sisi. Dipasangkan dengan GPUDirect RDMA, data dapat bergerak dari GPU ke GPU antar node sambil sebagian besar melewati salinan memori host.

Untuk pelatihan multi-node, inilah yang menjaga efisiensi skala. Alasan mengapa cluster yang terdiri dari puluhan atau ratusan GPU dapat melatih model besar dalam waktu yang wajar adalah karena fabric antar-node mampu mengikuti komunikasi kolektif yang dibutuhkan algoritma. Jika menggunakan jaringan biasa, pekerjaan yang sama bisa menghabiskan sebagian besar waktu nyata menunggu jaringan.

Beban kerja mana yang sebenarnya membutuhkan ini

Memfilter untuk NVLink atau InfiniBand masuk akal ketika komunikasi, bukan hanya komputasi mentah, menjadi jalur kritis:

• Pelatihan dan fine-tuning model besar yang membagi parameter, status optimizer, atau lapisan di antara GPU (tensor, pipeline, atau data paralelisme yang sepenuhnya dibagi) — skema ini menghasilkan lalu lintas antar GPU yang konstan dan paling diuntungkan dari NVLink dalam satu node dan InfiniBand antar node.
• Pelatihan terdistribusi multi-node di mana pekerjaan tidak muat dalam satu server — di sini InfiniBand menjadi faktor penentu efisiensi skala.
• HPC dan simulasi ilmiah dengan komunikasi antar proses yang ketat, yang telah mengandalkan InfiniBand dan RDMA selama bertahun-tahun.
• Inferensi konteks besar atau model besar yang membagi satu model ke beberapa GPU, di mana NVLink mengurangi penalti latensi akses perhatian dan bobot antar GPU.

Ini benar-benar berlebihan untuk pekerjaan single-GPU. Fine-tuning model kecil, menjalankan inferensi batch yang muat di satu kartu, sebagian besar pekerjaan rendering, dan eksperimen berjalan baik di GPU tunggal. Membayar premi untuk node yang sangat terhubung atau cluster InfiniBand tidak memberikan manfaat jika pekerjaan Anda tidak pernah melewati batas GPU.

Apa yang harus diperiksa sebelum Anda menyewa

Kedua interkoneksi sering disamakan dalam salinan pemasaran, jadi verifikasi spesifikasinya dengan perbandingan di atas:

• Cakupan — pastikan apakah daftar tersebut berarti NVLink (penghubung GPU dalam node) atau InfiniBand (jaringan antar node). Instance single-node bisa memiliki NVLink tanpa InfiniBand sama sekali.
• Topologi dan lebar — berapa banyak GPU yang berbagi domain NVLink (NVSwitch all-to-all penuh vs. jembatan parsial), serta tingkat link InfiniBand dan apakah RDMA/GPUDirect diaktifkan.
• Generasi — generasi GPU yang lebih baru membawa NVLink dengan bandwidth lebih tinggi; label “NVLink” saja tidak memberi tahu kecepatan.
• Ketersediaan multi-node — apakah Anda benar-benar dapat memesan beberapa node yang saling terhubung, dan apakah mereka berada dalam fabric yang sama daripada tersebar di seluruh pusat data.
• Dukungan perangkat lunak — bahwa NCCL, MPI, dan framework Anda melihat dan menggunakan fabric; konfigurasi yang salah akan diam-diam kembali ke jalur lambat.

Mengenai biaya dan ketersediaan, instance dengan interkoneksi kaya berada di ujung spektrum yang lebih tinggi. Node multi-GPU yang dilengkapi NVLink dan cluster yang terhubung InfiniBand menggunakan perangkat keras premium dan permintaannya stabil, sehingga kapasitas on-demand lebih ketat dan opsi spot atau interruptible lebih langka dibandingkan GPU komoditas tunggal. Alokasi InfiniBand multi-node khususnya sering dibatasi, dipesan, atau dijual dalam blok yang lebih besar. Anggap harga dalam tabel di atas sebagai referensi langsung, karena tarif bergerak dan berbeda menurut penyedia.

Pertanyaan yang sering diajukan

Apakah saya perlu kedua NVLink dan InfiniBand?

Tergantung skala. Pekerjaan multi-GPU single-node hanya membutuhkan NVLink. Begitu pelatihan Anda melibatkan beberapa server, Anda juga ingin InfiniBand menghubungkan node-node tersebut — keduanya beroperasi pada lapisan berbeda, jadi cluster besar biasanya mengandalkan NVLink di dalam setiap kotak dan InfiniBand antar kotak.

Apakah beban kerja single-GPU saya akan berjalan lebih cepat di instance NVLink atau InfiniBand?

Tidak. Kedua interkoneksi hanya penting saat data bergerak antar GPU atau antar node. Beban kerja yang muat di satu GPU tidak pernah menyentuh fabric mana pun, jadi Anda akan membayar premi untuk kapasitas yang tidak bisa Anda gunakan. Filter ini hanya saat Anda melakukan skala lebih dari satu GPU.

Mengapa interkoneksi lebih penting daripada spesifikasi per-GPU untuk pekerjaan pelatihan besar?

Pelatihan terdistribusi menghabiskan sebagian besar setiap langkah untuk bertukar gradien dan aktivasi. Jika fabric tidak mampu mengikuti, GPU menganggur saat menunggu sinkronisasi, dan menambah GPU menghasilkan hasil yang semakin berkurang. Interkoneksi cepat adalah yang menjaga skala hampir linier saat Anda menambahkan akselerator.

Apakah NVLink tersedia di setiap instance multi-GPU?

Tidak. Beberapa node multi-GPU menghubungkan kartu mereka hanya melalui PCIe, yang memiliki bandwidth GPU-ke-GPU jauh lebih rendah. Kehadiran beberapa GPU tidak menjamin NVLink, jadi pastikan interkoneksi secara eksplisit dalam perbandingan di atas daripada mengasumsikannya dari jumlah GPU.