Cloud-GPU-Anbieter mit NVLink oder InfiniBand

Was NVLink und InfiniBand tatsächlich leisten, wenn Sie Multi-GPU-Compute mieten

NVLink und InfiniBand lösen dasselbe grundlegende Problem von zwei verschiedenen Seiten der Maschine: Daten zwischen GPUs schnell genug zu bewegen, damit die Beschleuniger ihre Zeit mit Berechnungen verbringen und nicht mit Warten. Der obige Filter schränkt die Liste auf Cloud-Instanzen ein, die eine oder beide dieser Verbindungen bereitstellen. Sie sind nicht austauschbar — die eine ist ein Intra-Node-Netzwerk, das GPUs innerhalb eines einzelnen Servers verbindet, und die andere ist ein Inter-Node-Netzwerk, das Server zu einem Cluster verbindet. Für jede Arbeitslast, die mehr als eine GPU umfasst, ist die Verbindung oft der Unterschied zwischen nahezu linearer Skalierung und einer Konfiguration, bei der das Hinzufügen von GPUs kaum hilft.

NVLink: die schnelle Verbindung zwischen GPUs in einem Gehäuse

NVLink ist NVIDIAs direkte GPU-zu-GPU-Verbindung. Anstatt den Datenverkehr über den PCIe-Bus des Hosts und die CPU zu leiten, verbindet NVLink GPUs direkt miteinander (und auf einigen Plattformen über einen NVSwitch-Crossbar), sodass jede GPU im Knoten mit jeder anderen GPU mit hoher Bandbreite und niedriger Latenz kommunizieren kann. Die praktische Folge, wenn Sie eine NVLink-ausgestattete Instanz mieten:

• Viel höhere GPU-zu-GPU-Bandbreite als bei reinen PCIe-Knoten, was wichtig ist, wenn Gradienten, Aktivierungen oder Modellteile bei jedem Schritt ausgetauscht werden müssen.
• Gemeinsamer Speicher über GPUs hinweg in der Praxis — ein Modell, das zu groß für den VRAM einer einzelnen GPU ist, kann über den NVLink-Bereich verteilt werden, wobei der Datenverkehr zwischen GPUs auf dem schnellen Netzwerk bleibt und nicht über PCIe kriecht.
• Geringerer Synchronisationsaufwand für kollektive Operationen wie All-Reduce, die das datenparallele Training dominieren.

NVLink existiert innerhalb eines einzelnen Knotens, daher umfasst es typischerweise 2, 4 oder 8 GPUs, je nach Serverdesign. Wenn ein Anbieter in der obigen Liste einen 8-GPU-Knoten “mit NVLink” bewirbt, bedeutet das, dass diese acht Karten eng gekoppelt sind. Es sagt jedoch nichts darüber aus, wie dieser Knoten mit anderen Knoten verbunden ist.

InfiniBand: das Netzwerk, das viele Server zu einem Cluster verbindet

InfiniBand ist eine Netzwerktechnologie, die verwendet wird, um separate GPU-Server zu verbinden. Wenn Trainingsjobs einen einzelnen Knoten überschreiten, verlagert sich der Engpass vom Inneren des Gehäuses auf die Verbindung zwischen den Gehäusen, und gewöhnliches Ethernet-Netzwerk kann die GPUs ausbremsen. InfiniBand löst dieses Problem mit sehr hoher Durchsatzrate pro Verbindung, niedriger und vorhersehbarer Latenz sowie RDMA (Remote Direct Memory Access), das es einem Server ermöglicht, den Speicher eines anderen Servers zu lesen oder zu beschreiben, ohne die CPU auf beiden Seiten zu belasten. In Kombination mit GPUDirect RDMA können Daten von GPU zu GPU über Knoten hinweg bewegt werden, wobei Host-Speicherkopien weitgehend umgangen werden.

Für Multi-Node-Training ist dies entscheidend, um die Skalierung effizient zu halten. Der Grund, warum ein Cluster von beispielsweise Dutzenden oder Hunderten GPUs ein großes Modell in angemessener Zeit trainieren kann, ist, dass das Inter-Node-Netzwerk mit der kollektiven Kommunikation Schritt hält, die der Algorithmus verlangt. Wechselt man zu handelsüblichem Netzwerk, kann derselbe Job einen großen Teil seiner Echtzeit damit verbringen, auf das Netzwerk zu warten.

Welche Arbeitslasten benötigen das tatsächlich

Die Filterung nach NVLink oder InfiniBand macht Sinn, wenn Kommunikation, nicht nur reine Rechenleistung, auf dem kritischen Pfad liegt:

• Training und Feinabstimmung großer Modelle, die Parameter, Optimiererzustand oder Schichten über GPUs aufteilen (Tensor-, Pipeline- oder vollständig geshardetes datenparalleles Training) — diese Verfahren erzeugen konstanten GPU-übergreifenden Datenverkehr und profitieren am meisten von NVLink innerhalb eines Knotens und InfiniBand zwischen Knoten.
• Multi-Node-verteiltes Training, bei dem der Job einfach nicht in einen Server passt — hier ist InfiniBand der entscheidende Faktor für Skalierungseffizienz.
• HPC und wissenschaftliche Simulationen, die enge Interprozesskommunikation erfordern und seit Jahren auf InfiniBand und RDMA setzen.
• Inference mit großem Kontext oder großen Modellen, die ein einzelnes Modell auf mehrere GPUs aufteilen, wobei NVLink die Latenzstrafe für GPU-übergreifende Aufmerksamkeit und Gewichtszugriffe reduziert.

Für Einzel-GPU-Arbeiten ist das wirklich überdimensioniert. Feinabstimmung eines kleinen Modells, Batch-Inferenz, die auf eine Karte passt, die meisten Rendering-Jobs und Experimente laufen problemlos auf einer einzelnen GPU. Die Zahlung eines Aufpreises für einen eng verbundenen Knoten oder einen InfiniBand-Cluster bringt keinen Vorteil, wenn Ihr Job nie die GPU-Grenze überschreitet.

Was Sie vor der Miete prüfen sollten

Die beiden Verbindungen werden in Marketingtexten häufig vermischt, daher überprüfen Sie die Details anhand des obigen Vergleichs:

• Geltungsbereich — bestätigen Sie, ob die Auflistung NVLink (GPU-Kopplung innerhalb eines Knotens) oder InfiniBand (Netzwerk zwischen Knoten) meint. Eine Einzel-Knoten-Instanz kann NVLink haben und überhaupt kein InfiniBand.
• Topologie und Bandbreite — wie viele GPUs den NVLink-Bereich teilen (vollständiger NVSwitch-All-to-All vs. partielle Bridges), sowie die InfiniBand-Verbindungsrate und ob RDMA/GPUDirect aktiviert ist.
• Generation — neuere GPU-Generationen bieten NVLink mit höherer Bandbreite; ein “NVLink”-Label allein sagt nichts über die Geschwindigkeit aus.
• Multi-Node-Verfügbarkeit — ob Sie tatsächlich mehrere miteinander verbundene Knoten reservieren können und ob diese im selben Netzwerksegment liegen, statt über das Rechenzentrum verteilt zu sein.
• Softwareunterstützung — dass NCCL, MPI und Ihr Framework das Netzwerk erkennen und nutzen; Fehlkonfigurationen fallen stillschweigend auf langsame Pfade zurück.

Bezüglich Kosten und Verfügbarkeit liegen instanzen mit vielen Verbindungen am oberen Ende der Skala. Multi-GPU-Knoten mit NVLink und InfiniBand-verbundene Cluster verwenden Premium-Hardware und sind stark nachgefragt, daher ist die On-Demand-Kapazität knapper und Spot- oder unterbrechbare Optionen seltener als bei einzelnen Commodity-GPUs. Insbesondere Multi-Node-InfiniBand-Zuweisungen sind oft limitiert, reserviert oder werden in größeren Blöcken verkauft. Betrachten Sie die Preise in der obigen Tabelle als aktuelle Referenz, da sich die Tarife ändern und je nach Anbieter unterscheiden.

Häufig gestellte Fragen

Brauche ich sowohl NVLink als auch InfiniBand?

Das hängt vom Umfang ab. Ein Multi-GPU-Job auf einem einzelnen Knoten benötigt nur NVLink. Sobald Ihr Training mehrere Server umfasst, wollen Sie auch InfiniBand, das diese Knoten verbindet — die beiden arbeiten auf unterschiedlichen Ebenen, daher verlässt sich ein großer Cluster typischerweise auf NVLink innerhalb jedes Gehäuses und InfiniBand zwischen den Gehäusen.

Läuft meine Einzel-GPU-Arbeitslast auf einer NVLink- oder InfiniBand-Instanz schneller?

Nein. Beide Verbindungen sind nur relevant, wenn Daten zwischen GPUs oder zwischen Knoten bewegt werden. Eine Arbeitslast, die auf eine GPU passt, berührt keine der beiden Verbindungen, sodass Sie einen Aufpreis für Kapazität zahlen würden, die Sie nicht nutzen können. Filtern Sie danach nur, wenn Sie über eine GPU hinaus skalieren.

Warum ist die Verbindung wichtiger als die Spezifikationen pro GPU bei großen Trainingsjobs?

Verteiltes Training verbringt einen großen Teil jedes Schritts mit dem Austausch von Gradienten und Aktivierungen. Wenn das Netzwerk nicht mithalten kann, stehen die GPUs untätig, während sie auf Synchronisation warten, und das Hinzufügen weiterer GPUs bringt abnehmende Erträge. Eine schnelle Verbindung bewahrt die nahezu lineare Skalierung, wenn Sie Beschleuniger hinzufügen.

Ist NVLink bei jeder Multi-GPU-Instanz verfügbar?

Nein. Einige Multi-GPU-Knoten verbinden ihre Karten nur über PCIe, was eine viel geringere GPU-zu-GPU-Bandbreite bietet. Die Anwesenheit mehrerer GPUs garantiert nicht NVLink, daher bestätigen Sie die Verbindung explizit im obigen Vergleich, anstatt sie aus der GPU-Anzahl abzuleiten.