I migliori fornitori di GPU cloud con NVIDIA RTX 3090

Che cos’è realmente la RTX 3090 e perché continua a comparire nelle flotte cloud

La NVIDIA GeForce RTX 3090 è stata lanciata nel 2020 come punta di diamante della generazione Ampere, basata sul die GA102. Abbina una GPU consumer di grandi dimensioni a una generosa memoria GDDR6X da 24 GB su un bus a 384 bit, offrendo circa 936 GB/s di larghezza di banda della memoria. Questa combinazione di alta VRAM e alta larghezza di banda a un prezzo consumer è esattamente il motivo per cui la scheda è diventata un cavallo di battaglia nelle flotte GPU cloud attente al budget, e perché continua a comparire nel confronto sopra anni dopo il rilascio.

Essendo una scheda Ampere, la RTX 3090 dispone di Tensor Core di terza generazione e core RT di seconda generazione. Per il lavoro di intelligenza artificiale, i Tensor Core sono la parte rilevante: accelerano la matematica a precisione mista FP16 e BF16, così come INT8 e INT4 per l’inferenza. La scheda supporta inoltre la funzionalità di sparsità strutturata di Ampere per un throughput aggiuntivo su modelli compatibili. Ciò che non ha è il supporto FP8 — arrivato con le generazioni successive Hopper e Ada Lovelace — quindi i flussi di lavoro specificamente ottimizzati per FP8 non ne trarranno beneficio.

Specifiche importanti quando si noleggia una scheda

• Memoria: 24 GB GDDR6X. Questo è il dato più importante per chi noleggia. È sufficiente per affinare o eseguire inferenza su molti modelli nella gamma da 7B a 13B parametri con quantizzazione, e per gestire comodamente la maggior parte delle scene di rendering e scientifiche.
• Larghezza di banda: circa 936 GB/s, che mantiene ben alimentato il grande pool di memoria per inferenze e fasi di addestramento limitate dalla memoria.
• Supporto di precisione: FP32, TF32, FP16, BF16, INT8, INT4 — nessun FP8. I Tensor Core accelerano i percorsi a precisione inferiore usati nel ML moderno.
• Interconnessione: PCIe Gen 4, con NVLink opzionale tra esattamente due schede. La 3090 è l’ultima scheda GeForce a esporre un ponte NVLink, offrendo a una configurazione accoppiata un collegamento GPU-to-GPU più veloce rispetto al solo PCIe.
• Classe di potenza e termica: una scheda da 350 W, che rappresenta un consumo significativo e parte del motivo per cui gli host spesso la espongono come istanza singola o doppia piuttosto che in nodi densi a 8 vie.

Una precisazione pratica: la RTX 3090 è una scheda consumer e, secondo la licenza dei driver NVIDIA, non era destinata a un impiego su larga scala nei datacenter come le schede della serie A e quelle professionali successive. Nelle flotte cloud la si trova frequentemente in marketplace di tipo comunitario o peer-to-peer piuttosto che presso hyperscaler di primo livello, il che contribuisce al suo basso costo.

Carichi di lavoro per cui è realmente adatta

Il buffer da 24 GB è il punto forte. Consente lavori che semplicemente non entrano su schede da 8–16 GB mantenendo i costi molto inferiori rispetto agli acceleratori da datacenter. Buone corrispondenze includono:

• Affinamento di modelli di piccole e medie dimensioni con LoRA/QLoRA, dove il numero di parametri è modesto ma si desidera comunque spazio per gli stati dell’ottimizzatore e una dimensione di batch ragionevole.
• Inferenza su modelli linguistici quantizzati da 7B a 13B, e inferenza confortevole sulla maggior parte dei modelli di diffusione e visione.
• Rendering 3D e creazione di contenuti — la scheda è stata progettata per la grafica, quindi il path tracing accelerato da OptiX, Blender Cycles e pipeline simili funzionano bene e traggono diretto beneficio dai 24 GB per grandi texture e geometrie.
• Sperimentazione, prototipazione e apprendimento, dove si desidera una GPU capace senza impegnarsi in tariffe orarie premium.

È eccessiva per modelli piccoli o esperimenti leggeri su notebook che stanno su schede più economiche da 8–12 GB, ed è poco potente per l’addestramento su scala di frontiera. Addestrare un modello grande da zero, o eseguire addestramento distribuito multi-nodo, richiede GPU da datacenter con memoria HBM e tessuti NVLink/NVSwitch — il limite di NVLink a due schede della 3090 e la scalabilità basata su PCIe la rendono inadatta a cluster multi-GPU densi. L’inferenza in tempo reale ad alta concorrenza su larga scala è solitamente meglio servita da schede più recenti con FP8 e throughput superiore per dollaro.

Contesto di costo e disponibilità del noleggio

Sullo spettro dei costi la RTX 3090 si colloca saldamente nella fascia economica dei noleggi GPU — ben al di sotto dell’hardware di classe A100/H100 e anche delle più recenti schede professionali Ada, offrendo però più VRAM di molte opzioni a prezzo simile. Essendo un silicio consumer più vecchio, la disponibilità tende a provenire da capacità interrompibile, spot e ospitata dalla comunità, quindi la disponibilità può fluttuare e un host può ritirare le istanze. Per tariffe orarie esatte e attuali e per sapere quali provider hanno stock in questo momento, usi il confronto live sopra piuttosto che qualsiasi cifra fissa, poiché i prezzi variano con la domanda e differiscono ampiamente tra offerte on-demand e interrompibili.

Domande frequenti

Quanta VRAM ha la RTX 3090 e basta per gli LLM?

Ha 24 GB di GDDR6X. È sufficiente per eseguire e affinare molti modelli fino a circa 13 miliardi di parametri con quantizzazione (come QLoRA a 4 bit), e per servire inferenza quantizzata comodamente. Modelli sostanzialmente più grandi generalmente richiedono più schede o una GPU da datacenter con più VRAM.

Posso collegare due RTX 3090 insieme quando noleggio?

Sì, la 3090 supporta NVLink tra due schede, e alcuni host offrono configurazioni accoppiate. Questo offre un collegamento più veloce del solo PCIe per lavori a due GPU. Tuttavia, NVLink è limitato a coppie qui — non esiste un tessuto NVSwitch — quindi non si scala bene ai nodi densi a 4 e 8 GPU usati per grandi addestramenti distribuiti.

La RTX 3090 supporta FP8 o i formati di precisione più recenti?

No. Essendo una scheda Ampere supporta FP32, TF32, FP16, BF16, INT8 e INT4 tramite i suoi Tensor Core di terza generazione, più la sparsità strutturata. FP8 è stato introdotto nelle generazioni successive Hopper e Ada Lovelace, quindi se il suo flusso di lavoro si basa specificamente su FP8, vorrà una GPU più recente.

Perché la RTX 3090 è più economica delle GPU da datacenter?

È una scheda grafica consumer del 2020 che utilizza memoria GDDR6X anziché HBM, e non è stata progettata per un impiego denso nei datacenter. Spesso proviene da capacità interrompibile o ospitata dalla comunità. Questo mantiene basse le tariffe orarie, con il compromesso di una disponibilità meno prevedibile e un throughput massimo inferiore rispetto agli acceleratori attuali basati su HBM.