Beste Cloud-GPU-Anbieter mit NVIDIA RTX 4090

Was die RTX 4090 tatsächlich ist und warum sie gemietet wird

Die GeForce RTX 4090 ist NVIDIAs High-End-Verbraucherkarte, die auf der Ada-Lovelace-Architektur basiert. Sie verfügt über 24 GB GDDR6X-Speicher auf einem 384-Bit-Bus, was ihr etwa 1 TB/s Speicherbandbreite verleiht, und ist mit Tensor-Kernen der vierten Generation sowie RT-Kernen der dritten Generation ausgestattet. In der Cloud nimmt sie eine ungewöhnliche Position ein: Sie ist technisch gesehen eine Gaming- und Workstation-GPU, kein Rechenzentrumsbeschleuniger, doch ihre rohe FP16/BF16-Tensor-Durchsatzrate ist so hoch, dass sie zu einer beliebten und kostengünstigen Mietoption für KI-Experimente, Feinabstimmung von kleinen bis mittleren Modellen und hochdurchsatzfähige Batch-Inferenz geworden ist.

Der Grund, warum sie in der obigen Vergleichstabelle so oft auftaucht, ist einfach. Für Workloads, die innerhalb von 24 GB passen, liefert die 4090 einen großen Anteil der Matrix-Mathematik-Leistung deutlich teurerer Rechenzentrums-GPUs zu einem Bruchteil der Mietkosten. Das macht sie zu einer der besten Preis-Leistungs-Optionen für einzelne Entwickler, Studierende und kleine Teams, die weder NVLink noch 80 GB Speicher benötigen.

Die hardwareseitigen Merkmale, die beim Mieten wichtig sind

• Speicher: 24 GB GDDR6X. Dies ist die wichtigste Zahl für die Planung. GDDR6X ist schnell, aber kein HBM, weshalb die 4090 weniger Bandbreite und deutlich weniger Kapazität als Rechenzentrums-Karten mit HBM2e oder HBM3 hat. Modelle oder Batch-Größen, die über 24 GB hinausgehen, führen zu Out-of-Memory-Fehlern, sofern man nicht sharded, quantisiert oder auslagert.
• Tensor-Berechnung: Ada-Lovelace-Tensor-Kerne unterstützen FP16, BF16, INT8 und FP8 (über den Transformer Engine-Datentyp), was exzellent für Mixed-Precision-Training und quantisierte Inferenz ist. Es gibt keine native FP64-Beschleunigung, weshalb sie für wissenschaftliches Rechnen mit doppelter Genauigkeit ungeeignet ist.
• Interconnect: Die RTX 4090 hat kein NVLink. Multi-GPU-Systeme verbinden Karten nur über PCIe. Man kann weiterhin datenparalleles Training durchführen oder mehrere Modell-Replikate über mehrere 4090er betreiben, aber tensor-paralleles Sharding eines großen Modells über Karten ist bandbreitenlimitiert und ineffizient im Vergleich zu NVLink-ausgestatteten Beschleunigern.
• Stromverbrauch und Kühlung: Es ist eine ~450-W-Karte mit großem Kühler. In Multi-GPU-Mietknoten sind Dichte und Kühlung echte Einschränkungen, weshalb All-4090-Server manchmal als unterbrechbare oder gemeinschaftlich gehostete Kapazität angeboten werden, statt als garantierte Enterprise-Instanzen.

Workloads, für die die RTX 4090 gut geeignet ist

Die 4090 ist wirklich stark für einen bestimmten Arbeitsbereich:

• Feinabstimmung und LoRA/QLoRA von Sprachmodellen mit 7 bis 13 Milliarden Parametern mit Quantisierung, wobei 24 GB ausreichen, wenn die Gewichte in 4-Bit- oder 8-Bit-Form geladen sind.
• Hochdurchsatz-Batch-Inferenz für quantisierte LLMs, Diffusionsbildgenerierung und Embedding-Modelle, bei denen Tokens oder Bilder pro Dollar wichtiger sind als extrem niedrige Latenz bei massivem Umfang.
• Computer Vision und Training kleinerer Modelle von Grund auf, einschließlich Objekterkennung, Segmentierung und Audiomodellen, die bequem in den Speicher passen.
• Rendering und 3D-Arbeiten, da die RT-Kerne und der starke FP32-Durchsatz sie exzellent für Blender, OctaneRender und ähnliche GPU-Renderer machen.
• Prototyping bevor man sich auf teure Multi-Node-Rechenzentrumscluster festlegt.

Wo sie das falsche Werkzeug ist

Sie ist zu schwach oder schlicht ungeeignet für: Training oder Full-Precision-Serving sehr großer Modelle, die 40-80 GB oder mehr pro GPU benötigen; eng gekoppelte tensor-parallele Jobs, die auf NVLink oder schnelle Inter-Node-Verbindungen angewiesen sind; FP64-HPC und Simulation; sowie Produktionseinsetzungen, die Funktionen wie MIG-Partitionierung, ECC-Speichergarantien oder Enterprise-SLAs erfordern. Für diese Fälle sind die größeren HBM-basierten Beschleuniger in anderen Bereichen dieser Seite die richtige Wahl, auch wenn sie deutlich teurer sind.

Mietkosten, Verfügbarkeit und worauf man achten sollte

Im Kostenspektrum liegt die RTX 4090 fest in der Value-Klasse. Sie ist üblicherweise eine der günstigsten Möglichkeiten, moderne Tensor-Core-Leistung der vierten Generation pro Stunde zu erhalten, weshalb sie stark gemietet wird. Preise ändern sich ständig und unterscheiden sich je nach Anbieter, daher sollten Sie die aktuellen Werte im obigen Vergleich nutzen und sich nicht auf feste Zahlen verlassen.

Einige praktische Hinweise speziell zu dieser Karte:

• On-Demand vs. Interruptible: 4090-Kapazität wird häufig als Spot-, Community- oder unterbrechbare Instanzen angeboten. Das ist für fehlertolerante Batch-Jobs in Ordnung, aber riskant für lange unbeaufsichtigte Trainingsläufe, sofern man nicht häufig Checkpoints setzt.
• Abrechnung pro Sekunde oder Minute ist hier sehr wichtig, da 4090-Jobs oft kurz und burstartig sind; eine feine Abrechnungsgranularität verhindert, dass man für Leerlaufzeit bezahlt.
• vCPU, RAM und Festplatte pro GPU variieren stark bei Consumer-Karten-Hosts. Unterversorgte CPUs oder langsamer Speicher können das Datenladen ausbremsen und den Preisvorteil der GPU zunichtemachen.
• Single- vs. Multi-GPU: Da es kein NVLink gibt, ist die 4090 für Single-GPU- oder embarrassingly-parallele Workloads zu bevorzugen, und die PCIe-Topologie sollte überprüft werden, wenn man skalieren möchte.

Häufig gestellte Fragen

Wie viel VRAM hat die RTX 4090 und reicht das für LLMs?

Die RTX 4090 hat 24 GB GDDR6X-Speicher. Das reicht aus, um 7B- bis 13B-Parameter-Modelle mit 4-Bit- oder 8-Bit-Quantisierung fein abzustimmen und zu bedienen sowie viele Diffusions- und Vision-Modelle komfortabel auszuführen. Größere Modelle benötigen in der Regel Quantisierung, Auslagerung oder eine GPU mit mehr Speicher im Rechenzentrum.

Kann man mehrere RTX 4090s für das Training großer Modelle verlinken?

Nicht mit NVLink, da die RTX 4090 dieses nicht unterstützt. Mehrere Karten kommunizieren über PCIe, was für datenparalleles Training und das Ausführen separater Modell-Replikate gut funktioniert, aber ineffizient für tensor-paralleles Sharding eines einzelnen großen Modells über GPUs ist.

Ist die RTX 4090 im Vergleich zu Rechenzentrums-GPUs preiswert?

Für Workloads, die in 24 GB passen, ja. Sie liefert einen großen Anteil der Mixed-Precision-Tensor-Leistung deutlich teurerer Beschleuniger zu einem viel niedrigeren Stundenpreis, weshalb sie bei kostenbewusstem Training, Feinabstimmung und Batch-Inferenz beliebt ist. Sie verliert diesen Vorteil, sobald mehr Speicher, NVLink, FP64 oder Enterprise-Garantien benötigt werden.

Warum wird RTX 4090-Cloud-Kapazität oft als Spot- oder unterbrechbare Instanz verkauft?

Es handelt sich um eine stromintensive Verbraucherkarten, die häufig von Community- und unabhängigen Anbietern gehostet wird und nicht nur von großen Enterprise-Clouds. Diese Kapazität wird oft als unterbrechbar angeboten, um die Preise niedrig zu halten. Sie ist hervorragend für checkpoint-basierte, fehlertolerante Jobs geeignet, aber für lange ununterbrochene Läufe sollte man prüfen, ob im obigen Vergleich On-Demand-Instanzen ohne Unterbrechung verfügbar sind.