Beste Cloud-GPU-Anbieter mit NVIDIA RTX 3090

Was die RTX 3090 tatsächlich ist und warum sie immer noch in Cloud-Flotten auftaucht

Die NVIDIA GeForce RTX 3090 wurde 2020 als Flaggschiff der Ampere-Generation vorgestellt, basierend auf dem GA102-Chip. Sie kombiniert eine große GPU für den Consumer-Bereich mit großzügigen 24 GB GDDR6X-Speicher auf einem 384-Bit-Bus und liefert etwa 936 GB/s Speicherbandbreite. Diese Kombination aus hohem VRAM und hoher Bandbreite zu einem Verbraucherpreis ist genau der Grund, warum die Karte in kostenbewussten Cloud-GPU-Flotten zum Arbeitstier wurde und warum sie auch Jahre nach der Veröffentlichung weiterhin in den oben genannten Vergleichen auftaucht.

Da es sich um eine Ampere-Karte handelt, verfügt die RTX 3090 über Tensor Cores der dritten Generation und RT-Kerne der zweiten Generation. Für KI-Arbeiten sind die Tensor Cores relevant: Sie beschleunigen FP16 und BF16 Mixed-Precision-Mathematik sowie INT8 und INT4 für Inferenz. Die Karte unterstützt außerdem die strukturierte Sparsity-Funktion von Ampere für zusätzlichen Durchsatz bei kompatiblen Modellen. Was sie nicht hat, ist FP8-Unterstützung — diese kam erst mit den späteren Hopper- und Ada-Lovelace-Generationen — daher profitieren Workflows, die speziell auf FP8 abgestimmt sind, hier nicht.

Wichtige Spezifikationen bei der Anmietung

• Speicher: 24 GB GDDR6X. Dies ist die wichtigste Zahl für Mieter. Es reicht aus, um viele Modelle im Bereich von 7B–13B Parametern mit Quantisierung feinzujustieren oder Inferenz durchzuführen und die meisten Rendering- und wissenschaftlichen Szenen komfortabel zu bewältigen.
• Bandbreite: etwa 936 GB/s, was den großen Speicherpool gut versorgt für speichergebundene Inferenz- und Trainingsschritte.
• Präzisionsunterstützung: FP32, TF32, FP16, BF16, INT8, INT4 — kein FP8. Tensor Cores beschleunigen die niedrigpräzisen Pfade, die im modernen maschinellen Lernen verwendet werden.
• Interconnect: PCIe Gen 4, mit optionalem NVLink zwischen genau zwei Karten. Die 3090 ist die letzte GeForce-Karte, die eine NVLink-Brücke bietet, wodurch ein gepaartes Setup eine schnellere GPU-zu-GPU-Verbindung als nur PCIe ermöglicht.
• Leistungs- und thermische Klasse: eine 350-W-Platine, was ein bedeutender Stromverbrauch ist und ein Grund dafür, dass Hosts sie oft als Einzel- oder Dual-Karten-Instanz anbieten, anstatt als dichte 8-Wege-Knoten.

Ein praktischer Hinweis: Die RTX 3090 ist eine Consumer-Karte und war laut NVIDIA-Treiberlizenzierung nicht für den großflächigen Einsatz in Rechenzentren vorgesehen, wie es bei der A-Serie und späteren professionellen Karten der Fall ist. In Cloud-Flotten findet man sie häufig in Community- oder Peer-to-Peer-Marktplätzen statt bei Tier-1-Hyperscalern, was ein Teil des Grundes für ihre günstigen Preise ist.

Arbeitslasten, für die sie wirklich geeignet ist

Der 24-GB-Puffer ist das Hauptargument. Er ermöglicht Aufgaben, die einfach nicht auf 8–16-GB-Karten passen, während die Kosten weit unter denen von Rechenzentrumsbeschleunigern bleiben. Gute Einsatzgebiete sind:

• Feinabstimmung kleiner bis mittelgroßer Modelle mit LoRA/QLoRA, bei denen die Parameterzahl moderat ist, aber dennoch Platz für Optimizer-Zustände und eine angemessene Batch-Größe benötigt wird.
• Inferenz auf quantisierten 7B–13B-Sprachmodellen, sowie komfortable Inferenz bei den meisten Diffusions- und Vision-Modellen.
• 3D-Rendering und Content-Erstellung — die Karte wurde für Grafikzwecke entwickelt, daher laufen OptiX-beschleunigtes Path Tracing, Blender Cycles und ähnliche Pipelines gut und profitieren direkt von 24 GB für große Texturen und Geometrien.
• Experimentieren, Prototyping und Lernen, wenn man eine leistungsfähige GPU möchte, ohne sich auf Premium-Stundensätze festzulegen.

Sie ist überdimensioniert für winzige Modelle oder leichte Notebook-Experimente, die auf günstigeren 8–12-GB-Karten Platz finden, und unterdimensioniert für Training im Grenzbereich. Das Training eines großen Modells von Grund auf oder das Ausführen von Multi-Node-Distributed-Training erfordert HBM-ausgestattete Rechenzentrums-GPUs mit NVLink/NVSwitch-Fabrics — die NVLink-Begrenzung auf zwei Karten und die PCIe-basierte Skalierung der 3090 machen sie ungeeignet für dichte Multi-GPU-Cluster. Echtzeit-Inferenz mit hoher Parallelität im Produktionsmaßstab wird in der Regel besser von neueren Karten mit FP8 und höherem Durchsatz pro Dollar bedient.

Kontext zu Mietkosten und Verfügbarkeit

Im Kostenspektrum liegt die RTX 3090 fest in der Budget-Kategorie von GPU-Mieten — deutlich unter Hardware der Klasse A100/H100 und sogar unter neueren professionellen Ada-Karten, bietet aber mehr VRAM als viele ähnlich preiswerte Optionen. Da es sich um ältere Consumer-Silizium handelt, stammt das Angebot meist aus unterbrechbaren, Spot- und Community-gehosteten Kapazitäten, sodass die Verfügbarkeit schwanken kann und ein bestimmter Anbieter Instanzen zurückziehen kann. Für genaue, aktuelle Stundensätze und welche Anbieter gerade Lagerbestand haben, verwenden Sie den oben genannten Live-Vergleich anstelle einer festen Zahl, da die Preise je nach Nachfrage schwanken und zwischen On-Demand- und unterbrechbaren Angeboten stark variieren.

Häufig gestellte Fragen

Wie viel VRAM hat die RTX 3090 und reicht das für LLMs?

Sie hat 24 GB GDDR6X. Das reicht aus, um viele Modelle bis etwa in den Bereich von 13 Milliarden Parametern mit Quantisierung (wie 4-Bit QLoRA) zu betreiben und feinzujustieren sowie quantisierte Inferenz komfortabel zu bedienen. Modelle, die deutlich größer sind, benötigen in der Regel mehrere Karten oder eine Rechenzentrums-GPU mit mehr VRAM.

Kann ich beim Mieten zwei RTX 3090 miteinander verbinden?

Ja, die 3090 unterstützt NVLink zwischen zwei Karten, und einige Anbieter bieten gepaarte Konfigurationen an. Das ermöglicht eine schnellere Verbindung als nur PCIe für Jobs mit zwei GPUs. NVLink ist hier jedoch auf Paare beschränkt — es gibt keinen NVSwitch-ähnlichen Fabric — daher skaliert es nicht sauber auf dichte 4- und 8-GPU-Knoten, die für großes verteiltes Training verwendet werden.

Unterstützt die RTX 3090 FP8 oder die neuesten Präzisionsformate?

Nein. Als Ampere-Karte unterstützt sie FP32, TF32, FP16, BF16, INT8 und INT4 über ihre Tensor Cores der dritten Generation sowie strukturierte Sparsity. FP8 wurde erst in den späteren Hopper- und Ada-Lovelace-Generationen eingeführt, daher benötigen Workflows, die speziell auf FP8 angewiesen sind, eine neuere GPU.

Warum ist die RTX 3090 günstiger als Rechenzentrums-GPUs?

Es handelt sich um eine Consumer-Grafikkarte aus dem Jahr 2020 mit GDDR6X statt HBM-Speicher, die nicht für dichte Rechenzentrumsbereitstellungen konzipiert wurde. Sie stammt oft aus unterbrechbaren oder Community-gehosteten Kapazitäten. Das hält die Stundensätze niedrig, mit dem Nachteil einer weniger vorhersehbaren Verfügbarkeit und einem geringeren Spitzen-Durchsatz als aktuelle HBM-basierte Beschleuniger.