Beste Cloud GPU-aanbieders met NVIDIA RTX 3090

Wat de RTX 3090 eigenlijk is, en waarom deze nog steeds voorkomt in cloudvloten

De NVIDIA GeForce RTX 3090 werd in 2020 gelanceerd als het vlaggenschip van de Ampere-generatie, gebouwd op de GA102-chip. Het combineert een grote consumentgerichte GPU met een royale 24 GB GDDR6X-geheugen op een 384-bits bus, wat ongeveer 936 GB/s aan geheugenbandbreedte levert. Die combinatie van veel VRAM en hoge bandbreedte tegen een consumentenprijs is precies waarom de kaart een werkpaard werd in budgetbewuste cloud GPU-vloten, en waarom hij jaren na de release nog steeds in de vergelijking hierboven voorkomt.

Omdat het een Ampere-kaart is, beschikt de RTX 3090 over Tensor Cores van de derde generatie en RT-cores van de tweede generatie. Voor AI-werk zijn de Tensor Cores het relevante onderdeel: ze versnellen FP16 en BF16 mixed-precision berekeningen, evenals INT8 en INT4 voor inferentie. De kaart ondersteunt ook de gestructureerde sparsity-functie van Ampere voor extra doorvoer op compatibele modellen. Wat hij niet heeft, is FP8-ondersteuning — die kwam pas met de latere Hopper- en Ada Lovelace-generaties — dus workflows die specifiek op FP8 zijn afgestemd, profiteren hier niet van.

Specificaties die ertoe doen bij het huren

• Geheugen: 24 GB GDDR6X. Dit is het belangrijkste getal voor huurders. Het is genoeg om veel modellen in het bereik van 7B–13B parameters te fine-tunen of inferentie uit te voeren met quantisatie, en om de meeste rendering- en wetenschappelijke scènes comfortabel te verwerken.
• Bandbreedte: ongeveer 936 GB/s, wat de grote geheugenvijver goed voedt voor geheugenintensieve inferentie- en trainingsstappen.
• Precisie-ondersteuning: FP32, TF32, FP16, BF16, INT8, INT4 — geen FP8. Tensor Cores versnellen de lagere precisiepaden die in moderne ML worden gebruikt.
• Interconnect: PCIe Gen 4, met optionele NVLink tussen precies twee kaarten. De 3090 is de laatste GeForce-kaart die een NVLink-brug exposeert, wat een gekoppelde setup een snellere GPU-naar-GPU-verbinding geeft dan alleen PCIe.
• Vermogens- en thermische klasse: een 350 W bord, wat een aanzienlijke stroomvraag is en deel uitmaakt van de reden waarom hosts het vaak als een enkele of dubbele kaartinstantie aanbieden in plaats van dichte 8-weg nodes.

Een praktische kanttekening: de RTX 3090 is een consumentenkaart en was onder NVIDIA’s driverlicentie niet bedoeld voor grootschalige datacenterinzet zoals de A-serie en latere professionele kaarten. In cloudvloten vindt u hem vaak in community- of peer-to-peer-stijl marktplaatsen in plaats van bij tier-one hyperscalers, wat bijdraagt aan de lage prijs.

Workloads waarvoor hij echt geschikt is

De 24 GB buffer is het belangrijkste punt. Het opent banen die simpelweg niet passen op 8–16 GB kaarten, terwijl de kosten ver onder die van datacenter-accelerators blijven. Goede toepassingen zijn onder andere:

• Fine-tunen van kleine tot middelgrote modellen met LoRA/QLoRA, waarbij het aantal parameters bescheiden is maar u toch ruimte wilt voor optimizer-staten en een redelijke batchgrootte.
• Inferentie op gekwantiseerde 7B–13B taalmodellen, en comfortabele inferentie op de meeste diffusie- en visiemodellen.
• 3D-rendering en contentcreatie — de kaart is ontworpen voor graphics, dus OptiX-versnelde path tracing, Blender Cycles en vergelijkbare pipelines draaien goed en profiteren direct van 24 GB voor grote texturen en geometrie.
• Experimenteren, prototypen en leren, waarbij u een capabele GPU wilt zonder u te committeren aan premium uurtarieven.

Hij is overkill voor kleine modellen of lichte notebook-experimenten die op goedkopere 8–12 GB kaarten passen, en hij is ondergewaardeerd voor grensverleggende training. Het trainen van een groot model vanaf nul, of het draaien van multi-node gedistribueerde training, vraagt om datacenter-GPU’s met HBM en NVLink/NVSwitch-fabric — de NVLink-limiet van twee kaarten en PCIe-scaling van de 3090 maken hem minder geschikt voor dichte multi-GPU clusters. Real-time, hoogconcurrentie productie-inferentie op schaal wordt meestal beter bediend door nieuwere kaarten met FP8 en hogere doorvoer per euro.

Context van huurkosten en beschikbaarheid

Op het kosten-spectrum zit de RTX 3090 stevig in de budgetklasse van GPU-verhuur — ver onder A100/H100-klasse hardware en zelfs onder nieuwere professionele Ada-kaarten, terwijl hij meer VRAM biedt dan veel vergelijkbaar geprijsde opties. Omdat het oudere consumentensilicium is, komt de beschikbaarheid vaak uit onderbreekbare, spot- en community-gehoste capaciteit, waardoor beschikbaarheid kan fluctueren en een host instances kan terugtrekken. Voor exacte, actuele uurtarieven en welke aanbieders nu voorraad hebben, gebruikt u de live vergelijking hierboven in plaats van een vaste waarde, aangezien prijzen met de vraag meebewegen en sterk verschillen tussen on-demand en onderbreekbare aanbiedingen.

Veelgestelde vragen

Hoeveel VRAM heeft de RTX 3090, en is dat genoeg voor LLM’s?

Hij heeft 24 GB GDDR6X. Dat is genoeg om veel modellen tot ongeveer het 13B-parameterbereik te draaien en fine-tunen met quantisatie (zoals 4-bit QLoRA), en om gekwantiseerde inferentie comfortabel te bedienen. Modellen die aanzienlijk groter zijn, hebben meestal meerdere kaarten of een datacenter-GPU met meer VRAM nodig.

Kan ik twee RTX 3090’s koppelen bij het huren?

Ja, de 3090 ondersteunt NVLink tussen twee kaarten, en sommige hosts bieden gekoppelde configuraties aan. Dit geeft een snellere verbinding dan alleen PCIe voor twee-GPU-taken. NVLink is hier echter beperkt tot paren — er is geen NVSwitch-achtige fabric — dus het schaalt niet goed naar dichte 4- en 8-GPU nodes die voor grote gedistribueerde training worden gebruikt.

Ondersteunt de RTX 3090 FP8 of de nieuwste precisieformaten?

Nee. Als Ampere-kaart ondersteunt hij FP32, TF32, FP16, BF16, INT8 en INT4 via zijn Tensor Cores van de derde generatie, plus gestructureerde sparsity. FP8 werd geïntroduceerd in de latere Hopper- en Ada Lovelace-generaties, dus als uw workflow specifiek op FP8 vertrouwt, heeft u een nieuwere GPU nodig.

Waarom is de RTX 3090 goedkoper dan datacenter-GPU’s?

Het is een consumenten-grafische kaart uit 2020 die GDDR6X gebruikt in plaats van HBM-geheugen, en hij is niet ontworpen voor dichte datacenterinzet. Hij komt vaak uit onderbreekbare of community-gehoste capaciteit. Dat houdt de uurtarieven laag, met als nadeel minder voorspelbare beschikbaarheid en lagere piekdoorvoer dan huidige HBM-gebaseerde accelerators.