Noleggia NVIDIA A10G nel Cloud

NVIDIA A10G è una scheda Ampere con 24 GB di memoria GDDR6, 600 GB/s di larghezza di banda e 70 TFLOPS di calcolo FP16. È stata lanciata in 2021 e consuma fino a 300W di potenza.

Nei carichi di lavoro reali, il sottosistema di memoria è tipicamente il fattore più importante: 600 GB/s di larghezza di banda sono sufficienti per sostenere la maggior parte dei compiti di decodifica dei transformer senza far mancare le risorse di calcolo, mentre 24 GB di VRAM supportano una vasta gamma di dimensioni di modelli, specialmente una volta applicata la quantizzazione.

Check the NVIDIA A10G page for complete specifications and related GPU matchups.

NVIDIA A10G è una scheda Ampere che offre 70 TFLOPS FP16 e 35 TFLOPS FP32 insieme a 600 GB/s di larghezza di banda della memoria. È abbastanza potenza di calcolo per gestire l'addestramento di modelli moderni e carichi di lavoro di serving in tempo reale su larga scala.

I benchmark mostrano che NVIDIA A10G si comporta particolarmente bene su modelli in stile transformer dove i tensor core sono saturati da grandi MatMul. I modelli di diffusione, i carichi di lavoro di voce e visione vedono anche forti accelerazioni rispetto alle generazioni precedenti. Per il serving in tempo reale sensibile alla latenza, NVIDIA A10G solitamente raggiunge tassi di token al secondo su grandi modelli linguistici ben al di sopra della soglia di 30-50 tok/s che la maggior parte dei prodotti mira a raggiungere.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.

NVIDIA A10G brilla per Inference, graphics rendering, AI-accelerated workloads. I suoi 24 GB di VRAM e tensor core di generazione Ampere la rendono una scelta forte per carichi di lavoro AI che spingono molto le dimensioni dei batch e beneficiano del supporto moderno alla mixed-precision.

È eccessiva per esperimenti semplici e sottodimensionata per i modelli di frontiera più grandi, ma copre la vasta fascia intermedia: fine-tuning di transformer open-source, addestramento di modelli di diffusione, esecuzione di pipeline batch in tempo reale e supporto a workflow interattivi che necessitano di più VRAM rispetto a una scheda consumer.

Full specs, benchmarks, and comparisons are on the NVIDIA A10G page.