Cloud-GPU-Anbieter mit NVLink oder InfiniBand

Was NVLink und InfiniBand tatsächlich leisten, wenn Sie Multi-GPU-Compute mieten

NVLink und InfiniBand lösen dasselbe grundlegende Problem von zwei verschiedenen Seiten der Maschine: Daten zwischen GPUs schnell genug zu bewegen, damit die Beschleuniger ihre Zeit mit Berechnungen verbringen und nicht mit Warten. Der obige Filter schränkt die Liste auf Cloud-Instanzen ein, die eine oder beide dieser Interconnects bereitstellen. Sie sind nicht austauschbar — das eine ist ein intra-node Netzwerk, das GPUs innerhalb eines einzelnen Servers verbindet, und das andere ist ein inter-node Netzwerk, das Server zu einem Cluster verbindet. Für jede Arbeitslast, die mehr als eine GPU umfasst, ist der Interconnect oft der Unterschied zwischen nahezu linearer Skalierung und einer Konfiguration, bei der das Hinzufügen von GPUs kaum hilft.

NVLink: die schnelle Verbindung zwischen GPUs in einem Gehäuse

NVLink ist NVIDIAs direkte GPU-zu-GPU-Verbindung. Anstatt den Datenverkehr über den PCIe-Bus des Hosts und die CPU zu leiten, verbindet NVLink GPUs direkt miteinander (und auf einigen Plattformen über einen NVSwitch-Kreuzschienen-Switch), sodass jede GPU im Knoten mit jeder anderen GPU mit hoher Bandbreite und niedriger Latenz kommunizieren kann. Die praktische Folge, wenn Sie eine NVLink-ausgestattete Instanz mieten:

• Viel höhere GPU-zu-GPU-Bandbreite als bei reinen PCIe-Knoten, was immer dann wichtig ist, wenn Gradienten, Aktivierungen oder Modellteile bei jedem Schritt ausgetauscht werden müssen.
• Gemeinsamer Speicher über GPUs hinweg in der Praxis — ein Modell, das zu groß für den VRAM einer einzelnen GPU ist, kann über den NVLink-Bereich verteilt werden, wobei der Datenverkehr zwischen GPUs auf dem schnellen Netzwerk bleibt und nicht über PCIe kriecht.
• Geringerer Synchronisationsaufwand für kollektive Operationen wie All-Reduce, die das Training mit Datenparallelität dominieren.

NVLink existiert innerhalb eines einzelnen Knotens, daher umfasst sein Bereich typischerweise 2, 4 oder 8 GPUs, abhängig vom Serverdesign. Wenn ein Anbieter in der obigen Liste einen 8-GPU-Knoten „mit NVLink“ bewirbt, bedeutet das, dass diese acht Karten eng gekoppelt sind. Es sagt für sich genommen nichts darüber aus, wie dieser Knoten mit anderen Knoten verbunden ist.

InfiniBand: das Netzwerk, das viele Server zu einem Cluster verbindet

InfiniBand ist eine Netzwerktechnologie, die verwendet wird, um separate GPU-Server zu verbinden. Wenn Trainingsjobs einen einzelnen Knoten überschreiten, verlagert sich der Engpass vom Inneren des Gehäuses auf die Verbindung zwischen den Gehäusen, und gewöhnliches Ethernet-Netzwerk kann die GPUs ausbremsen. InfiniBand löst dieses Problem mit sehr hoher Durchsatzrate pro Verbindung, niedriger und vorhersehbarer Latenz sowie RDMA (Remote Direct Memory Access), das es einem Server erlaubt, den Speicher eines anderen Servers zu lesen oder zu schreiben, ohne die CPU auf beiden Seiten zu involvieren. In Kombination mit GPUDirect RDMA können Daten von GPU zu GPU über Knoten hinweg bewegt werden, wobei Host-Speicherkopien weitgehend umgangen werden.

Für das Training über mehrere Knoten hinweg ist dies entscheidend für eine effiziente Skalierung. Der Grund, warum ein Cluster von beispielsweise Dutzenden oder Hunderten GPUs ein großes Modell in angemessener Zeit trainieren kann, ist, dass das inter-node Netzwerk mit der kollektiven Kommunikation Schritt hält, die der Algorithmus verlangt. Bei Verwendung von Standard-Netzwerken kann derselbe Job einen großen Teil seiner Echtzeit damit verbringen, auf das Netzwerk zu warten.

Welche Arbeitslasten benötigen das tatsächlich

Die Filterung nach NVLink oder InfiniBand macht Sinn, wenn Kommunikation, nicht nur rohe Rechenleistung, auf dem kritischen Pfad liegt:

• Training und Feinabstimmung großer Modelle, die Parameter, Optimiererzustand oder Schichten über GPUs aufteilen (Tensor-, Pipeline- oder vollständig geshardete Datenparallelität) — diese Verfahren erzeugen konstanten Datenverkehr zwischen GPUs und profitieren am meisten von NVLink innerhalb eines Knotens und InfiniBand zwischen Knoten.
• Verteiltes Training über mehrere Knoten, wenn der Job einfach nicht in einen Server passt — hier ist InfiniBand der entscheidende Faktor für Skalierungseffizienz.
• HPC und wissenschaftliche Simulation mit enger Interprozesskommunikation, die seit Jahren auf InfiniBand und RDMA setzt.
• Inference mit großem Kontext oder großen Modellen, die ein einzelnes Modell auf mehrere GPUs aufteilen, wobei NVLink die Latenzstrafe für cross-GPU Attention und Gewichtszugriffe reduziert.

Für Einzel-GPU-Arbeiten ist das tatsächlich überdimensioniert. Feinabstimmung eines kleinen Modells, Batch-Inferenz, die auf eine Karte passt, die meisten Rendering-Jobs und Experimente laufen problemlos auf einer einzelnen GPU. Die Mehrkosten für einen eng vernetzten Knoten oder einen InfiniBand-Cluster bringen keinen Vorteil, wenn Ihr Job nie die GPU-Grenze überschreitet.

Was Sie vor der Miete prüfen sollten

Die beiden Interconnects werden in Marketingtexten häufig vermischt, prüfen Sie daher die Details anhand des obigen Vergleichs:

• Bereich — bestätigen Sie, ob das Angebot NVLink (GPU-Kopplung innerhalb eines Knotens) oder InfiniBand (Netzwerk zwischen Knoten) meint. Eine Einzelknoten-Instanz kann NVLink haben und gar kein InfiniBand.
• Topologie und Bandbreite — wie viele GPUs den NVLink-Bereich teilen (vollständiger NVSwitch All-to-All vs. partielle Bridges), und die InfiniBand-Verbindungsrate sowie ob RDMA/GPUDirect aktiviert ist.
• Generation — neuere GPU-Generationen bieten NVLink mit höherer Bandbreite; ein „NVLink“-Label allein sagt nichts über die Geschwindigkeit aus.
• Verfügbarkeit über mehrere Knoten — ob Sie tatsächlich mehrere vernetzte Knoten reservieren können und ob diese im selben Netzwerk landen und nicht über das Rechenzentrum verteilt sind.
• Softwareunterstützung — dass NCCL, MPI und Ihr Framework das Netzwerk sehen und nutzen; Fehlkonfigurationen fallen stillschweigend auf langsame Pfade zurück.

Was Kosten und Verfügbarkeit angeht, liegen instanzen mit reichhaltigen Interconnects eher am oberen Ende der Skala. Multi-GPU-Knoten mit NVLink und InfiniBand-verbundene Cluster verwenden Premium-Hardware und sind stark nachgefragt, daher ist die Kapazität für On-Demand-Nutzung enger und Spot- oder unterbrechbare Optionen sind seltener als für einzelne Commodity-GPUs. Insbesondere Multi-Knoten-InfiniBand-Zuweisungen sind oft limitiert, reserviert oder werden in größeren Blöcken verkauft. Betrachten Sie die Preise in der obigen Tabelle als aktuelle Referenz, da sich die Tarife ändern und je nach Anbieter unterscheiden.

Häufig gestellte Fragen

Brauche ich sowohl NVLink als auch InfiniBand?

Das hängt vom Umfang ab. Ein Multi-GPU-Job auf einem einzelnen Knoten benötigt nur NVLink. Sobald Ihr Training mehrere Server umfasst, wollen Sie auch InfiniBand, das diese Knoten verbindet — die beiden arbeiten auf unterschiedlichen Ebenen, daher verlässt sich ein großer Cluster typischerweise auf NVLink innerhalb jedes Gehäuses und InfiniBand zwischen den Gehäusen.

Läuft meine Einzel-GPU-Arbeitslast auf einer NVLink- oder InfiniBand-Instanz schneller?

Nein. Beide Interconnects sind nur relevant, wenn Daten zwischen GPUs oder zwischen Knoten bewegt werden. Eine Arbeitslast, die auf eine GPU passt, berührt keines der Netzwerke, daher würden Sie eine Prämie für Kapazität zahlen, die Sie nicht nutzen können. Filtern Sie nur dann danach, wenn Sie über eine GPU hinaus skalieren.

Warum ist der Interconnect wichtiger als die GPU-Spezifikationen für große Trainingsjobs?

Verteiltes Training verbringt einen großen Anteil jedes Schritts mit dem Austausch von Gradienten und Aktivierungen. Wenn das Netzwerk nicht mithalten kann, stehen die GPUs untätig, während sie auf Synchronisation warten, und das Hinzufügen weiterer GPUs bringt abnehmende Erträge. Ein schneller Interconnect bewahrt nahezu lineare Skalierung, wenn Sie Beschleuniger hinzufügen.

Ist NVLink auf jeder Multi-GPU-Instanz verfügbar?

Nein. Einige Multi-GPU-Knoten verbinden ihre Karten nur über PCIe, das eine viel geringere GPU-zu-GPU-Bandbreite bietet. Die Anwesenheit mehrerer GPUs garantiert nicht NVLink, prüfen Sie daher den Interconnect explizit im obigen Vergleich, statt ihn aus der GPU-Anzahl abzuleiten.