Mga Cloud GPU Provider na may NVLink o InfiniBand

Ano ang tunay na ginagawa ng NVLink at InfiniBand kapag nagrenta ka ng multi-GPU compute

Nilulutas ng NVLink at InfiniBand ang parehong pangunahing problema mula sa dalawang magkaibang bahagi ng makina: ang mabilis na paglipat ng data sa pagitan ng mga GPU upang ang mga accelerator ay magamit sa pag-compute kaysa maghintay. Pinipili ng filter sa itaas ang mga cloud instance na nagpapakita ng isa o pareho sa mga interconnect na ito. Hindi sila mapapalitan — ang isa ay isang intra-node fabric na nag-uugnay ng mga GPU sa loob ng isang server, at ang isa pa ay isang inter-node fabric na nag-uugnay ng mga server upang maging isang cluster. Para sa anumang workload na sumasaklaw sa higit sa isang GPU, ang interconnect ay madalas na ang pagkakaiba sa pagitan ng halos linear na scaling at isang setup kung saan ang pagdagdag ng mga GPU ay halos walang naitutulong.

NVLink: ang mabilis na daan sa pagitan ng mga GPU sa loob ng isang kahon

Ang NVLink ay direktang koneksyon ng NVIDIA mula GPU papunta sa GPU. Sa halip na dumaan ang trapiko sa host PCIe bus at CPU, ang NVLink ay nag-uugnay ng mga GPU sa isa’t isa (at sa ilang mga platform sa pamamagitan ng NVSwitch crossbar) kaya bawat GPU sa node ay maaaring makipag-usap sa bawat isa pang GPU sa mataas na bandwidth na may mababang latency. Ang praktikal na benepisyo kapag nagrenta ka ng NVLink-equipped na instance:

• Mas mataas na GPU-to-GPU bandwidth kaysa sa mga node na PCIe-only, na mahalaga kapag kailangang magpalitan ng gradients, activations, o model shards sa bawat hakbang.
• Pinagsamang memorya sa pagitan ng mga GPU sa praktika — ang isang modelong masyadong malaki para sa VRAM ng isang GPU ay maaaring hatiin sa NVLink domain kung saan ang cross-GPU traffic ay nananatili sa mabilis na fabric sa halip na dumaan sa mabagal na PCIe.
• Mas mababang synchronization overhead para sa mga collective operation tulad ng all-reduce, na nangingibabaw sa data-parallel training.

Ang NVLink ay nasa loob ng isang node lamang, kaya ang saklaw nito ay karaniwang 2, 4, o 8 GPUs depende sa disenyo ng server. Kung ang isang provider sa listahan sa itaas ay nag-aanunsyo ng 8-GPU node “na may NVLink,” ibig sabihin ay mahigpit na nakakabit ang walong cards na iyon. Hindi nito sinasabi, mag-isa, kung paano nakakonekta ang node na iyon sa ibang mga node.

InfiniBand: ang fabric na nag-uugnay ng maraming server upang maging isang cluster

Ang InfiniBand ay isang teknolohiya sa networking na ginagamit upang ikonekta ang magkahiwalay na GPU server. Kapag lumalaki ang training jobs lampas sa isang node, ang bottleneck ay lumilipat mula sa loob ng kahon patungo sa pagitan ng mga kahon, at ang ordinaryong Ethernet networking ay maaaring magdulot ng pagkaantala sa mga GPU. Nilulutas ito ng InfiniBand sa pamamagitan ng napakataas na throughput bawat link, mababa at predictable na latency, at RDMA (remote direct memory access), na nagpapahintulot sa isang server na basahin o isulat ang memorya ng isa pang server nang hindi na kailangang dumaan sa CPU ng alinmang panig. Kapag pinagsama sa GPUDirect RDMA, maaaring lumipat ang data mula GPU papunta sa GPU sa pagitan ng mga node habang halos hindi dumadaan sa host memory copies.

Para sa multi-node training, ito ang nagpapanatili ng mahusay na scaling. Ang dahilan kung bakit ang isang cluster ng, halimbawa, dose-dosenang o daan-daang GPU ay maaaring mag-train ng malaking modelo sa makatwirang oras ay dahil ang inter-node fabric ay nakakasabay sa kolektibong komunikasyon na hinihingi ng algorithm. Kapag bumaba sa commodity networking, ang parehong trabaho ay maaaring gumugol ng malaking bahagi ng oras nito sa paghihintay sa network.

Alin sa mga workload ang talagang nangangailangan nito

Makatuwiran ang pag-filter para sa NVLink o InfiniBand kapag ang komunikasyon, hindi lang ang raw compute, ay nasa kritikal na landas:

• Malaking-model training at fine-tuning na naghahati ng mga parameter, optimizer state, o mga layer sa mga GPU (tensor, pipeline, o fully-sharded data parallelism) — ang mga scheme na ito ay lumikha ng tuloy-tuloy na cross-GPU traffic at pinakikinabangan ang NVLink sa loob ng isang node at InfiniBand sa pagitan ng mga node.
• Multi-node distributed training kung saan ang trabaho ay hindi kasya sa isang server — dito ang InfiniBand ang nagiging mahalagang salik para sa scaling efficiency.
• HPC at scientific simulation na may mahigpit na inter-process communication, na matagal nang umaasa sa InfiniBand at RDMA.
• Malaking-context o malaking-model inference na naghahati ng isang modelo sa maraming GPU, kung saan pinapababa ng NVLink ang latency penalty ng cross-GPU attention at weight access.

Sobra naman ito para sa single-GPU na trabaho. Ang fine-tuning ng maliit na modelo, pagpapatakbo ng batch inference na kasya sa isang card, karamihan sa mga rendering job, at eksperimento ay maayos na tumatakbo sa standalone na GPU. Walang benepisyo ang pagbabayad ng premium para sa isang mahigpit na interconnected na node o InfiniBand cluster kung ang iyong trabaho ay hindi kailanman lumalampas sa hangganan ng GPU.

Ano ang dapat suriin bago magrenta

Madalas na napagkakamalang pareho ang dalawang interconnect sa marketing copy, kaya tiyaking suriin ang mga detalye laban sa paghahambing sa itaas:

• Saklaw — kumpirmahin kung ang listing ay tumutukoy sa NVLink (pagkakabit ng GPU sa loob ng node) o InfiniBand (networking sa pagitan ng mga node). Ang isang single-node instance ay maaaring may NVLink at walang InfiniBand.
• Topolohiya at lapad — ilan ang GPU na nagbabahagi ng NVLink domain (full NVSwitch all-to-all kumpara sa partial bridges), at ang InfiniBand link rate pati na rin kung naka-enable ang RDMA/GPUDirect.
• Henerasyon — ang mga bagong henerasyon ng GPU ay may mas mataas na bandwidth ng NVLink; ang label na “NVLink” lamang ay hindi nagsasabi ng bilis.
• Availability sa multi-node — kung maaari kang magreserba ng maraming interconnected node, at kung sila ay napupunta sa parehong fabric sa halip na magkakalat sa data center.
• Suporta sa software — na nakikita at nagagamit ng NCCL, MPI, at ng iyong framework ang fabric; ang maling configuration ay tahimik na babalik sa mabagal na mga daan.

Sa gastos at availability, ang mga instance na mayaman sa interconnect ay nasa mataas na bahagi ng spectrum. Ang mga multi-GPU node na may NVLink at mga cluster na konektado sa InfiniBand ay gumagamit ng premium hardware at palaging mataas ang demand, kaya ang on-demand capacity ay mas limitado at ang mga spot o interruptible na opsyon ay mas kakaunti kumpara sa mga single commodity GPU. Ang mga multi-node InfiniBand allocation ay madalas na may gate, reserved, o binebenta sa mas malalaking batch. Ituring ang mga presyo sa talahanayan sa itaas bilang live na sanggunian, dahil ang mga rate ay nagbabago at nagkakaiba-iba depende sa provider.

Mga madalas itanong

Kailangan ko ba ng parehong NVLink at InfiniBand?

Depende ito sa saklaw. Ang isang single-node multi-GPU job ay kailangan lang ng NVLink. Sa sandaling ang iyong training ay sumasaklaw sa maraming server, gusto mo rin ng InfiniBand na nag-uugnay sa mga node na iyon — gumagana ang dalawa sa magkaibang layer, kaya ang malaking cluster ay karaniwang umaasa sa NVLink sa loob ng bawat kahon at InfiniBand sa pagitan ng mga kahon.

Mas mabilis ba ang takbo ng single-GPU workload ko sa NVLink o InfiniBand instance?

Hindi. Ang dalawang interconnect ay mahalaga lamang kapag lumilipat ang data sa pagitan ng mga GPU o sa pagitan ng mga node. Ang workload na kasya sa isang GPU ay hindi kailanman gagamit ng alinman sa mga fabric, kaya magbabayad ka ng premium para sa kapasidad na hindi mo magagamit. Mag-filter lamang para sa mga ito kapag nagpaplano kang mag-scale lampas sa isang GPU.

Bakit mas mahalaga ang interconnect kaysa sa per-GPU specs para sa malalaking training job?

Ang distributed training ay gumugugol ng malaking bahagi ng bawat hakbang sa pagpapalitan ng gradients at activations. Kung hindi makasabay ang fabric, mag-iidle ang mga GPU habang naghihintay na magsynchronize, at ang pagdagdag ng mas maraming GPU ay nagdudulot lamang ng pababang returns. Ang mabilis na interconnect ang nagpapanatili ng halos linear na scaling habang nagdadagdag ka ng mga accelerator.

Available ba ang NVLink sa bawat multi-GPU instance?

Hindi. Ang ilang multi-GPU node ay nag-uugnay lamang ng kanilang mga card sa pamamagitan ng PCIe, na may mas mababang GPU-to-GPU bandwidth. Ang pagkakaroon ng maraming GPU ay hindi garantiya ng NVLink, kaya tiyaking kumpirmahin ang interconnect nang malinaw sa paghahambing sa itaas kaysa mag-assume base lamang sa bilang ng GPU.