Mga Cloud GPU Provider na may NVLink o InfiniBand

Ano ang tunay na ginagawa ng NVLink at InfiniBand kapag nagrenta ka ng multi-GPU compute

Nilulutas ng NVLink at InfiniBand ang parehong pangunahing problema mula sa dalawang magkaibang bahagi ng makina: ang mabilis na paglipat ng data sa pagitan ng mga GPU upang ang mga accelerators ay mas maraming oras sa pag-compute kaysa sa paghihintay. Pinipino ng filter sa itaas ang listahan sa mga cloud instances na nagpapakita ng isa o pareho sa mga interconnect na ito. Hindi sila mapapalitan — ang isa ay isang intra-node fabric na nag-uugnay sa mga GPU sa loob ng isang server, at ang isa pa ay isang inter-node fabric na nag-uugnay sa mga server upang maging isang cluster. Para sa anumang workload na sumasaklaw sa higit sa isang GPU, madalas na ang interconnect ang nagiging pagkakaiba sa pagitan ng halos linear scaling at isang setup kung saan ang pagdagdag ng mga GPU ay halos walang naitutulong.

NVLink: ang mabilis na daan sa pagitan ng mga GPU sa loob ng isang kahon

Ang NVLink ay direktang link ng NVIDIA mula GPU papunta sa GPU. Sa halip na idaan ang trapiko sa host PCIe bus at CPU, ikinakabit ng NVLink ang mga GPU sa isa’t isa (at sa ilang mga platform sa pamamagitan ng NVSwitch crossbar) upang bawat GPU sa node ay makapagsalita sa bawat isa pang GPU sa mataas na bandwidth at mababang latency. Ang praktikal na benepisyo kapag nagrenta ka ng NVLink-equipped na instance:

• Mas mataas na bandwidth mula GPU papunta sa GPU kaysa sa mga PCIe-only na node, na mahalaga kapag kailangang magpalitan ng gradients, activations, o model shards sa bawat hakbang.
• Pinagsamang memorya sa pagitan ng mga GPU sa praktika — ang isang modelong masyadong malaki para sa VRAM ng isang GPU ay maaaring hatiin sa NVLink domain kung saan ang trapiko sa pagitan ng GPU ay nananatili sa mabilis na fabric sa halip na dumaan sa mabagal na PCIe.
• Mas mababang synchronization overhead para sa mga collective operations tulad ng all-reduce, na nangingibabaw sa data-parallel training.

Ang NVLink ay nasa loob ng isang node lamang, kaya karaniwang saklaw nito ay 2, 4, o 8 GPUs depende sa disenyo ng server. Kung ang isang provider sa listahan sa itaas ay nag-aanunsyo ng 8-GPU node “na may NVLink,” ibig sabihin ay mahigpit na nakakabit ang walong cards na iyon. Hindi nito sinasabi, mag-isa, kung paano nakakonekta ang node na iyon sa ibang mga node.

InfiniBand: ang fabric na nag-uugnay sa maraming server upang maging isang cluster

Ang InfiniBand ay isang networking technology na ginagamit upang ikonekta ang magkakahiwalay na GPU server. Kapag lumaki ang training jobs lampas sa isang node, ang bottleneck ay lumilipat mula sa loob ng kahon papunta sa pagitan ng mga kahon, at ang ordinaryong Ethernet networking ay maaaring magpabagal sa mga GPU. Nilulutas ito ng InfiniBand sa pamamagitan ng napakataas na throughput kada link, mababa at predictable na latency, at RDMA (remote direct memory access), na nagpapahintulot sa isang server na basahin o isulat ang memorya ng ibang server nang hindi na kailangang gamitin ang CPU sa alinmang panig. Kapag pinagsama sa GPUDirect RDMA, maaaring gumalaw ang data mula GPU papunta sa GPU sa pagitan ng mga node habang halos hindi dumadaan sa host memory copies.

Para sa multi-node training, ito ang nagpapanatili ng epektibong scaling. Ang dahilan kung bakit ang isang cluster ng, halimbawa, dose-dosenang o daang mga GPU ay maaaring mag-train ng malaking modelo sa makatwirang oras ay dahil ang inter-node fabric ay nakakasabay sa kolektibong komunikasyon na hinihingi ng algorithm. Kapag bumaba sa commodity networking, ang parehong trabaho ay maaaring gumugol ng malaking bahagi ng oras sa paghihintay sa network.

Aling mga workload ang talagang nangangailangan nito

Makatuwiran ang pag-filter para sa NVLink o InfiniBand kapag ang komunikasyon, hindi lang ang raw compute, ang nasa kritikal na landas:

• Malaking-model training at fine-tuning na naghahati ng mga parameter, optimizer state, o mga layer sa mga GPU (tensor, pipeline, o fully-sharded data parallelism) — ang mga scheme na ito ay lumikha ng tuloy-tuloy na cross-GPU traffic at pinakikinabangan ang NVLink sa loob ng node at InfiniBand sa pagitan ng mga node.
• Multi-node distributed training kung saan hindi kasya ang trabaho sa isang server — dito ang InfiniBand ang nagiging mahalagang salik para sa scaling efficiency.
• HPC at scientific simulation na may mahigpit na inter-process communication, na matagal nang umaasa sa InfiniBand at RDMA.
• Malaking-context o malaking-model inference na naghahati ng isang modelo sa maraming GPU, kung saan pinapababa ng NVLink ang latency penalty ng cross-GPU attention at access sa weights.

Sobra naman ito para sa single-GPU na trabaho. Ang fine-tuning ng maliit na modelo, pagpapatakbo ng batch inference na kasya sa isang card, karamihan sa mga rendering jobs, at eksperimento ay maayos na tumatakbo sa standalone na GPU. Walang benepisyo ang pagbabayad ng premium para sa isang mahigpit na interconnected na node o InfiniBand cluster kung ang iyong trabaho ay hindi kailanman lumalampas sa hangganan ng GPU.

Ano ang dapat suriin bago magrenta

Madalas na nagkakamali ang dalawang interconnect sa marketing copy, kaya tiyaking beripikahin ang mga detalye laban sa paghahambing sa itaas:

• Saklaw — kumpirmahin kung ang listahan ay tumutukoy sa NVLink (pagkakabit ng GPU sa loob ng node) o InfiniBand (networking sa pagitan ng node). Ang isang single-node instance ay maaaring may NVLink at walang InfiniBand.
• Topolohiya at lapad — ilan ang GPU na nagbabahagi ng NVLink domain (buong NVSwitch all-to-all kumpara sa partial bridges), at ang InfiniBand link rate pati na rin kung naka-enable ang RDMA/GPUDirect.
• Henerasyon — ang mga bagong henerasyon ng GPU ay may mas mataas na bandwidth ng NVLink; ang label na “NVLink” lamang ay hindi nagsasabi ng bilis.
• Availability ng multi-node — kung maaari ka talagang magreserba ng maraming interconnected nodes, at kung sila ay napupunta sa parehong fabric sa halip na magkakalat sa data center.
• Suporta sa software — na nakikita at nagagamit ng NCCL, MPI, at ng iyong framework ang fabric; ang maling configuration ay tahimik na bumabalik sa mabagal na mga daan.

Sa gastos at availability, ang mga instance na mayaman sa interconnect ay nasa mas mataas na bahagi ng spectrum. Ang mga NVLink-equipped na multi-GPU nodes at InfiniBand-connected clusters ay gumagamit ng premium hardware at palaging demandado, kaya ang on-demand capacity ay mas limitado at ang spot o interruptible options ay mas kakaunti kumpara sa mga single commodity GPU. Ang multi-node InfiniBand allocations lalo na ay madalas na may gate, reserved, o binebenta sa mas malalaking bloke. Ituring ang mga presyo sa talahanayan sa itaas bilang live reference, dahil ang mga rate ay nagbabago at nagkakaiba-iba depende sa provider.

Mga madalas itanong

Kailangan ko ba pareho ang NVLink at InfiniBand?

Depende sa laki ng scale. Ang single-node multi-GPU job ay kailangan lang ng NVLink. Sa sandaling ang iyong training ay sumasaklaw sa maraming server, gusto mo rin ang InfiniBand na nag-uugnay sa mga node na iyon — gumagana ang dalawa sa magkaibang layer, kaya ang malaking cluster ay karaniwang umaasa sa NVLink sa loob ng bawat kahon at InfiniBand sa pagitan ng mga kahon.

Mas mabilis ba ang takbo ng single-GPU workload ko sa NVLink o InfiniBand instance?

Hindi. Ang parehong interconnect ay mahalaga lamang kapag gumagalaw ang data sa pagitan ng mga GPU o sa pagitan ng mga node. Ang workload na kasya sa isang GPU ay hindi kailanman gagamit ng alinman sa mga fabric, kaya magbabayad ka ng premium para sa kapasidad na hindi mo magagamit. Mag-filter lamang para dito kapag nag-scale ka lampas sa isang GPU.

Bakit mas mahalaga ang interconnect kaysa sa per-GPU specs para sa malalaking training jobs?

Ang distributed training ay gumugugol ng malaking bahagi ng bawat hakbang sa pagpapalitan ng gradients at activations. Kung hindi makasabay ang fabric, mag-iidle ang mga GPU habang naghihintay na magsynchronize, at ang pagdagdag ng mas maraming GPU ay nagdudulot ng pababang benepisyo. Ang mabilis na interconnect ang nagpapanatili ng halos linear scaling habang nagdadagdag ka ng accelerators.

Available ba ang NVLink sa bawat multi-GPU instance?

Hindi. Ang ilang multi-GPU nodes ay nakakonekta lang ang mga card nila sa pamamagitan ng PCIe, na may mas mababang bandwidth mula GPU papunta sa GPU. Ang pagkakaroon ng maraming GPU ay hindi garantiya ng NVLink, kaya kumpirmahin ang interconnect nang malinaw sa paghahambing sa itaas sa halip na asahan ito mula sa bilang ng GPU.