Mga Cloud GPU Provider na may NVLink o InfiniBand

Ano ang ginagawa ng NVLink at InfiniBand kapag nagrenta ka ng multi-GPU compute

Nilulutas ng NVLink at InfiniBand ang parehong pangunahing problema mula sa dalawang magkaibang bahagi ng makina: ang mabilis na paglilipat ng data sa pagitan ng mga GPU upang ang mga accelerator ay gumugol ng kanilang oras sa pagkalkula sa halip na naghihintay. Pinipino ng filter sa itaas ang listahan sa mga cloud instances na nagpapakita ng isa o pareho sa mga interconnect na ito. Hindi sila mapapalitan — ang isa ay isang intra-node fabric na nag-uugnay sa mga GPU sa loob ng isang server, at ang isa pa ay isang inter-node fabric na nag-uugnay sa mga server upang maging isang cluster. Para sa anumang workload na sumasaklaw sa higit sa isang GPU, madalas na ang interconnect ang nagiging pagkakaiba sa pagitan ng halos linear scaling at isang setup kung saan ang pagdagdag ng mga GPU ay halos walang naitutulong.

NVLink: ang mabilis na daan sa pagitan ng mga GPU sa loob ng isang kahon

Ang NVLink ay ang direktang link ng NVIDIA mula GPU papunta sa GPU. Sa halip na idaan ang trapiko sa host PCIe bus at CPU, kinokonekta ng NVLink ang mga GPU sa isa’t isa (at sa ilang mga platform sa pamamagitan ng NVSwitch crossbar) kaya bawat GPU sa node ay maaaring makipag-usap sa bawat isa pang GPU sa mataas na bandwidth na may mababang latency. Ang praktikal na benepisyo kapag nagrenta ka ng NVLink-equipped na instance:

• Mas mataas na GPU-to-GPU bandwidth kaysa sa mga node na PCIe lamang, na mahalaga kapag kailangang magpalitan ng gradients, activations, o model shards sa bawat hakbang.
• Pinagsamang memorya sa mga GPU sa praktika — ang isang modelong masyadong malaki para sa VRAM ng isang GPU ay maaaring hatiin sa NVLink domain kung saan ang cross-GPU traffic ay nananatili sa mabilis na fabric sa halip na dumaan sa mabagal na PCIe.
• Mas mababang synchronization overhead para sa mga collective operations tulad ng all-reduce, na nangingibabaw sa data-parallel training.

Ang NVLink ay nasa loob ng isang node lamang, kaya ang saklaw nito ay karaniwang 2, 4, o 8 GPUs depende sa disenyo ng server. Kung ang isang provider sa listahan sa itaas ay nag-aanunsyo ng 8-GPU node “na may NVLink,” ibig sabihin ay mahigpit ang pagkakakabit ng walong cards na iyon. Hindi nito sinasabi, mag-isa, kung paano nakakonekta ang node na iyon sa ibang mga node.

InfiniBand: ang fabric na nagiging isang cluster ang maraming server

Ang InfiniBand ay isang teknolohiya sa networking na ginagamit para ikonekta ang magkakahiwalay na GPU server. Kapag lumalaki ang training jobs lampas sa isang node, ang bottleneck ay lumilipat mula sa loob ng kahon patungo sa pagitan ng mga kahon, at ang ordinaryong Ethernet networking ay maaaring magpabagal sa mga GPU. Nilulutas ito ng InfiniBand sa pamamagitan ng napakataas na throughput bawat link, mababa at predictable na latency, at RDMA (remote direct memory access), na nagpapahintulot sa isang server na basahin o isulat ang memorya ng ibang server nang hindi na kailangang gamitin ang CPU sa alinmang panig. Kapag pinagsama sa GPUDirect RDMA, maaaring lumipat ang data mula GPU papunta sa GPU sa pagitan ng mga node habang halos hindi dumadaan sa host memory copies.

Para sa multi-node training, ito ang nagpapanatili ng epektibong scaling. Ang dahilan kung bakit ang isang cluster ng, halimbawa, dose-dosenang o daan-daang GPUs ay maaaring mag-train ng malaking modelo sa makatwirang oras ay dahil ang inter-node fabric ay nakakasabay sa collective communication na hinihingi ng algorithm. Kapag bumaba sa commodity networking, maaaring gugugulin ng parehong trabaho ang malaking bahagi ng oras nito sa paghihintay sa network.

Aling mga workload ang talagang nangangailangan nito

May katuturan ang pag-filter para sa NVLink o InfiniBand kapag ang komunikasyon, hindi lang ang raw compute, ay nasa kritikal na landas:

• Malaking-model training at fine-tuning na naghahati ng mga parameter, optimizer state, o layers sa mga GPU (tensor, pipeline, o fully-sharded data parallelism) — ang mga scheme na ito ay lumikha ng tuloy-tuloy na cross-GPU traffic at pinaka-nakikinabang sa NVLink sa loob ng node at InfiniBand sa pagitan ng mga node.
• Multi-node distributed training kung saan hindi kasya ang trabaho sa isang server — dito ang InfiniBand ang nagiging pangunahing salik para sa scaling efficiency.
• HPC at scientific simulation na may mahigpit na inter-process communication, na matagal nang umaasa sa InfiniBand at RDMA.
• Large-context o large-model inference na naghahati ng isang modelo sa maraming GPU, kung saan pinapababa ng NVLink ang latency penalty ng cross-GPU attention at weight access.

Talagang sobra ito para sa single-GPU na trabaho. Ang fine-tuning ng maliit na modelo, pagpapatakbo ng batch inference na kasya sa isang card, karamihan ng rendering jobs, at eksperimento ay maayos na tumatakbo sa standalone GPU. Walang benepisyo ang pagbabayad ng premium para sa tightly interconnected node o InfiniBand cluster kung ang iyong trabaho ay hindi kailanman lumalagpas sa hangganan ng GPU.

Ano ang dapat suriin bago ka magrenta

Madalas na nagkakalituhan ang dalawang interconnect sa marketing copy, kaya tiyaking beripikahin ang mga detalye laban sa paghahambing sa itaas:

• Saklaw — kumpirmahin kung ang listahan ay tumutukoy sa NVLink (pagkakabit ng GPU sa loob ng node) o InfiniBand (networking sa pagitan ng mga node). Ang isang single-node instance ay maaaring may NVLink at walang InfiniBand.
• Topolohiya at lapad — ilan ang mga GPU na nagbabahagi ng NVLink domain (full NVSwitch all-to-all kumpara sa partial bridges), at ang InfiniBand link rate pati na rin kung naka-enable ang RDMA/GPUDirect.
• Henerasyon — ang mga mas bagong henerasyon ng GPU ay may mas mataas na bandwidth ng NVLink; ang label na “NVLink” lamang ay hindi nagsasabi ng bilis.
• Availability ng multi-node — kung maaari ka bang magreserba ng maraming interconnected nodes, at kung sila ay napupunta sa parehong fabric sa halip na nakakalat sa data center.
• Suporta sa software — na nakikita at nagagamit ng NCCL, MPI, at ng iyong framework ang fabric; ang maling configuration ay tahimik na bumabalik sa mabagal na mga ruta.

Sa gastos at availability, ang mga interconnect-rich na instances ay nasa mataas na bahagi ng spectrum. Ang mga NVLink-equipped na multi-GPU nodes at InfiniBand-connected clusters ay gumagamit ng premium hardware at palaging mataas ang demand, kaya mas mahigpit ang on-demand capacity at mas kakaunti ang spot o interruptible options kumpara sa mga single commodity GPUs. Ang mga multi-node InfiniBand allocations ay madalas na may gate, reserved, o binebenta sa mas malalaking blocks. Ituring ang mga presyo sa talahanayan sa itaas bilang live reference, dahil nagbabago ang mga rate at nagkakaiba-iba depende sa provider.

Mga madalas itanong

Kailangan ko ba ang parehong NVLink at InfiniBand?

Depende sa laki. Ang single-node multi-GPU job ay kailangan lang ng NVLink. Sa sandaling ang iyong training ay sumasaklaw sa maraming server, gusto mo rin ng InfiniBand na nagkokonekta sa mga node na iyon — gumagana ang dalawa sa magkaibang layer, kaya ang isang malaking cluster ay karaniwang umaasa sa NVLink sa loob ng bawat kahon at InfiniBand sa pagitan ng mga kahon.

Mas mabilis ba ang takbo ng single-GPU workload ko sa NVLink o InfiniBand instance?

Hindi. Ang parehong interconnect ay mahalaga lang kapag lumilipat ang data sa pagitan ng mga GPU o mga node. Ang workload na kasya sa isang GPU ay hindi kailanman gumagamit ng alinman sa mga fabric na ito, kaya magbabayad ka ng premium para sa kapasidad na hindi mo magagamit. Mag-filter lang para dito kapag nag-scale ka lampas sa isang GPU.

Bakit mas mahalaga ang interconnect kaysa sa per-GPU specs para sa malalaking training jobs?

Ang distributed training ay gumugugol ng malaking bahagi ng bawat hakbang sa pagpapalitan ng gradients at activations. Kung hindi makasabay ang fabric, mag-iidle ang mga GPU habang naghihintay na magsynchronize, at ang pagdagdag ng mas maraming GPU ay nagdudulot ng pababang benepisyo. Ang mabilis na interconnect ang nagpapanatili ng halos linear scaling habang nagdadagdag ka ng mga accelerator.

Available ba ang NVLink sa bawat multi-GPU instance?

Hindi. Ang ilang multi-GPU nodes ay nakakonekta lang ang kanilang mga card sa pamamagitan ng PCIe, na may mas mababang GPU-to-GPU bandwidth. Ang pagkakaroon ng maraming GPU ay hindi garantiya ng NVLink, kaya kumpirmahin ang interconnect nang malinaw sa paghahambing sa itaas sa halip na umasa lang sa bilang ng GPU.