Beste Cloud-GPUs für Inferenz und Modellbereitstellung

Was Inferenz tatsächlich von einer gemieteten GPU verlangt

Inference ist die Bereitstellungsphase im Lebenszyklus eines Modells: Die Gewichte sind bereits trainiert, und Sie bezahlen für die Rechenleistung jedes Mal, wenn ein Benutzer eine Eingabe, ein Bild oder eine Anfrage sendet. Das ändert die Hardware-Mathematik komplett im Vergleich zum Training. Training ist durch den Durchsatz begrenzt und läuft stunden- oder tagelang auf dichten Clustern; Inference ist latenzsensitiv, unregelmäßig und läuft unbegrenzt. Wenn Sie eine GPU mieten, um ein Modell bereitzustellen, optimieren Sie für Kosten pro Token oder Kosten pro Anfrage bei akzeptabler Antwortzeit, nicht für rohe FLOPs über einen langen Job hinweg.

Die wichtigste Einschränkung ist in der Regel Speicherkapazität, nicht Rechenleistung. Ein Modell muss zusammen mit seinem Key-Value (KV)-Cache in den VRAM passen, der mit der Batch-Größe und Kontextlänge wächst. Für große Sprachmodelle ist dies der dominierende Faktor: Ein Modell, das in 16-Bit bereitgestellt wird, benötigt etwa zwei Bytes pro Parameter nur für die Gewichte, sodass ein mittelgroßes Modell bequem auf einer einzelnen Mittelklasse-Grafikkarte laufen kann, während ein Modell im Frontier-Scale mehrere GPUs benötigt, die miteinander verbunden sind. Der obige Vergleich ermöglicht es Ihnen, präzise nach VRAM zu filtern, damit Sie eine Karte auswählen können, die zum größten Modell passt, das Sie bereitstellen möchten, plus Reserven für gleichzeitige Anfragen.

Die Spezifikationen, die Kosten und Latenz der Inferenz beeinflussen

• Die VRAM-Kapazität bestimmt, ob das Modell und sein KV-Cache auf eine GPU passen oder aufgeteilt werden müssen. Das Auslagern auf eine zweite GPU oder in den Host-Speicher erhöht Latenz und Komplexität.
• Die Speicherbandbreite ist der eigentliche Engpass bei der Token-Generierung. Autoregressives Decoding liest für jeden erzeugten Token das gesamte Gewichteset, daher erzeugt Hochbandbreitenspeicher (HBM-Klasse) Tokens schneller als GDDR-Speicher derselben Compute-Klasse.
• Unterstützung für Niedrigpräzision ist enorm wichtig. Karten mit FP8- oder INT8-Tensorpfaden erlauben es, Modelle zu quantisieren, um mehr Anfragen pro Dollar mit geringem Qualitätsverlust zu bedienen. Die Quantisierung auf 8-Bit oder 4-Bit verringert außerdem den Speicherbedarf, sodass ein Modell oft auf einer günstigeren Karte Platz findet.
• Der Interconnect (NVLink versus PCIe) spielt nur eine Rolle, wenn ein Modell mehrere GPUs umfasst. Für die Bereitstellung auf einer einzelnen GPU ist er irrelevant; bei tensorparalleler Bereitstellung sehr großer Modelle beeinflusst er direkt die Token-Latenz.

Batch- (Offline-) versus Echtzeit-Inferenz

Unter dem Begriff „Inference“ verbergen sich zwei sehr unterschiedliche Bereitstellungsmuster, die unterschiedliche Mietoptionen erfordern.

Echtzeit-Inferenz bedient Live-Nutzer: einen Chatbot, einen API-Endpunkt, einen Bildgenerator hinter einer Webanwendung. Hier zählt die maximale Latenz, GPUs sind oft teilweise untätig und warten auf Traffic, und es ist nicht tolerierbar, dass eine Instanz mitten in einer Anfrage entzogen wird. Dieses Muster bevorzugt bedarfsgerechte, stets verfügbare Kapazität und eine Karte mit starker Speicherbandbreite, damit die Latenz pro Anfrage auch bei kleinen Batch-Größen niedrig bleibt.

Batch- oder Offline-Inferenz verarbeitet einen großen Rückstand: Bewertung eines Datensatzes, Generierung von Embeddings für ein Korpus, Beschriftung von einer Million Bildern. Es gibt keine Live-Nutzer, daher spielt die Latenz pro Element kaum eine Rolle und Sie können große Batches packen, um die GPU auszulasten. Dieses Muster ist ideal für unterbrechbare oder Spot-Kapazität, denn wenn eine Instanz zurückgenommen wird, setzen Sie einfach die Warteschlange fort. Wenn Sie die obige Liste lesen, entscheiden Sie zuerst, in welches dieser beiden Muster Sie fallen, denn das ändert, welches Abrechnungsmodell und welche Verfügbarkeitsstufe sinnvoll ist.

Warum Durchsatz und Auslastung wichtiger sind als Spitzen-FLOPs

Eine Karte, die auf dem Papier doppelt so leistungsfähig aussieht, halbiert selten Ihre Inferenzkosten. Decoding ist speichergebunden, daher wird die beworbene Spitzen-Rechenleistung einer GPU bei der Generierung oft nicht vollständig genutzt. Was Sie tatsächlich bezahlen, sind effektive Tokens pro Sekunde pro Dollar unter Ihren realen Batch-Größen und Kontextlängen. Moderne Bereitstellungs-Stacks holen viel ungenutzte Kapazität durch kontinuierliches Batchen, paginierte KV-Caches und Quantisierung zurück. Die praktische Erkenntnis beim Mieten: Eine Mittelklasse-GPU mit optimiertem Server kann eine Flaggschiff-Karte mit unoptimiertem Server schlagen, und eine kleinere, günstigere Karte, die Ihr Modell noch fasst, ist häufig der Kostensieger bei konstantem Traffic.

Anbieterfunktionen, die speziell für die Bereitstellung wichtig sind

Inference läuft kontinuierlich, daher wiegen die umgebenden Plattformfunktionen stärker als bei einem einmaligen Trainingsjob. Beim Vergleich der obigen Optionen prüfen Sie diese Dimensionen:

• Abrechnungsgranularität: Abrechnung pro Sekunde oder Minute belohnt unregelmäßige, auf Null skalierende Bereitstellung; grobe stündliche Abrechnung bestraft Endpunkte, die zwischen Traffic-Spitzen untätig sind.
• Cold-Start- und Bereitstellungsgeschwindigkeit: Wenn Sie Replikate je nach Nachfrage hoch- und runterskalieren, beeinflusst die Geschwindigkeit, mit der eine neue GPU-Instanz einsatzbereit ist, direkt die Nutzer-Latenz und Ihre Fähigkeit zum Autoscaling.
• Persistenter Speicher und Image-Caching: Das Herunterladen großer Modellgewichte bei jedem Start ist langsam und manchmal kostenpflichtig. Zwischengespeicherte Images oder angehängte Volumes, die die Gewichte halten, reduzieren Cold-Starts drastisch.
• Ausgangsgebühren (Egress Fees): Die Bereitstellung sendet Ergebnisse kontinuierlich an Nutzer zurück. Pro-Gigabyte-Ausgangsgebühren, die beim Training oft unsichtbar sind, können für APIs mit hohem Volumen zu einem echten Kostenfaktor werden.
• Zuverlässigkeit bei Bedarf versus Spot-Preise: Echtzeit-Endpunkte benötigen in der Regel garantierte Kapazität auf Abruf; Batch-Jobs können günstigere unterbrechbare Instanzen nutzen.
• Autoscaling- und Serverless-Optionen: Scale-to-zero ist wichtig bei schwankendem Traffic, damit Sie nicht über Nacht für eine untätige GPU bezahlen.

Wie Sie den obigen Vergleich für Inferenz lesen

Gehen Sie in dieser Reihenfolge vor. Zuerst identifizieren Sie das größte Modell, das Sie bereitstellen müssen, und bestätigen, dass eine Karte genügend VRAM für die Gewichte plus KV-Cache bei der erwarteten Gleichzeitigkeit hat. Zweitens bevorzugen Sie hohe Speicherbandbreite und Unterstützung für Niedrigpräzision (FP8/INT8), um Tokens pro Sekunde pro Dollar zu maximieren. Drittens passen Sie das Abrechnungs- und Verfügbarkeitsmodell an Ihr Muster an: Bedarfsorientiert mit feiner Abrechnungsgranularität für Live-Endpunkte, unterbrechbare Kapazität für Offline-Batch-Arbeit. Verwenden Sie die Live-Tabelle für aktuelle Preise, da sich die Stundenpreise mit Nachfrage und Verfügbarkeit ändern und je nach Anbieter variieren; die dauerhafte Regel lautet, dass die günstigste Karte, die Ihr Modell und Ihren Traffic bequem fasst, fast immer gewinnt, nicht die leistungsstärkste verfügbare.

Häufig gestellte Fragen

Wie viel GPU-Speicher benötige ich, um ein Modell für Inferenz bereitzustellen?

Planen Sie für die Modellgewichte plus den Key-Value-Cache. In 16-Bit benötigen Gewichte etwa zwei Bytes pro Parameter, und die Quantisierung auf 8-Bit oder 4-Bit reduziert das erheblich. Fügen Sie dann Reserven für den KV-Cache hinzu, der mit Batch-Größe und Kontextlänge wächst. Filtern Sie die obige Liste nach VRAM und wählen Sie eine Karte, die das Modell mit Spielraum fasst, damit die Gleichzeitigkeit Sie nicht aus dem Speicher drängt.

Reicht eine günstigere GPU für Inferenz aus, oder brauche ich eine Flaggschiff-Karte?

Für viele Bereitstellungs-Workloads ist eine Mittelklasse-Karte das bessere Preis-Leistungs-Verhältnis. Die Token-Generierung ist durch Speicherbandbreite begrenzt, nicht durch Spitzen-Rechenleistung, sodass Flaggschiff-FLOPs oft ungenutzt bleiben. Wenn Ihr Modell in den VRAM einer kleineren Karte passt und ein optimierter Bereitstellungs-Stack die GPU auslastet, erhalten Sie in der Regel bessere Kosten pro Token als bei der teuersten Option.

Soll ich Spot- oder unterbrechbare Instanzen für Inferenz verwenden?

Das hängt vom Muster ab. Offline-Batch-Inferenz toleriert Unterbrechungen gut, da Sie eine Warteschlange fortsetzen können, was günstigere Spot-Kapazität attraktiv macht. Echtzeit-Endpunkte, die Nutzer bedienen, benötigen in der Regel garantierte Kapazität auf Abruf, da das Zurücknehmen einer Instanz mitten in einer Anfrage zu Fehlern und Latenzverletzungen führt.

Was unterscheidet die Abrechnung bei Inferenz von der beim Training?

Training ist ein endlicher, durch den Durchsatz begrenzter Job, während Inferenz kontinuierlich läuft und oft zwischen Traffic-Spitzen untätig ist. Das macht Abrechnung pro Sekunde, schnelle Bereitstellung, Scale-to-Zero und vorhersehbare Ausgangskosten für die Bereitstellung viel wichtiger als für einen einmaligen Trainingslauf. Berücksichtigen Sie diese Plattformfunktionen im obigen Vergleich neben dem reinen stündlichen GPU-Preis.