NVIDIA L40S real-world generative AI performance
Risposta
366 FP16 TFLOPS and 864 GB/s of memory bandwidth put NVIDIA L40S squarely in the class of accelerators targeted at modern transformer workloads. FP32 caps at 91.6 TFLOPS, which still handles most non-AI scientific compute comfortably.
For training from scratch, token throughput roughly tracks FP16 TFLOPS. For production inference on foundation models, throughput tracks bandwidth. Real-world numbers will depend heavily on the framework stack (PyTorch, TensorRT-LLM, vLLM), and can vary 30-50% depending on how aggressively you quantise.
The cheapest NVIDIA L40S right now is on Vast.ai at $0.55/hr; Novita AI and Latitude.sh also list it — pick the region and billing that fits your workload.
Altre FAQ su NVIDIA L40S
Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean - Confronto fornitori GPU (Aprile 2026)
Confronto affiancato di Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean. Scorra rapidamente finanziamento massimo, divisione profitti, regole di rischio, leva, piattaforme, strumenti, calendari pagamenti, opzioni di pagamento, permessi di trading e restrizioni KYC per restringere la lista delle società di prop trading. Dati aggiornati Aprile 2026.
|
Vast.ai
GPU istantanee. Prezzi trasparenti.
|
Novita AI
Piattaforma AI & Agent Cloud con oltre 200 API di modelli, istanze GPU e inferenza serverless su larga scala.
|
Latitude.sh
Cloud GPU bare metal in 23 sedi globali
|
RunPod
Il cloud progettato per l'IA — distribuisca e scaldi carichi di lavoro GPU da inferenze serverless a cluster multi-nodo istantanei su richiesta.
|
Massed Compute
Cloud GPU con supporto diretto degli ingegneri
|
DigitalOcean
Cloud GPU semplice e scalabile per AI/ML
|
|
|---|---|---|---|---|---|---|
| Panoramica | ||||||
| Valutazione Trustpilot | 4.4 | 3.3 | 3.7 | 3.7 | 0 | 4.6 |
| Sede centrale | United States | United States | Brazil | United States | United States | United States |
| Tipo di Fornitore | Marketplace GPU | Focalizzato su GPU | Bare Metal | Focalizzato sulle GPU | Focalizzato su GPU | N/D |
| Ideale Per | Addestramento AI inferenza fine-tuning Stable Diffusion elaborazione batch ricerca erogazione LLM AI generativa | Addestramento AI inferenza fine-tuning AI generativa ricerca servizio LLM Stable Diffusion | Addestramento AI inferenza GPU bare metal fine-tuning ricerca carichi di lavoro dedicati AI generativa | Addestramento AI inferenza messa a punto Stable Diffusion elaborazione batch rendering ricerca servizio LLM AI generativa | Addestramento AI inferenza rendering VFX AI generativa fine-tuning HPC Stable Diffusion ricerca | Addestramento AI inferenza fine-tuning distribuzione LLM servizio LLM visione artificiale startup AI generativa ricerca |
| Hardware GPU | ||||||
| Modelli GPU | B200 H200 H100 SXM H100 NVL A100 SXM A100 PCIe RTX 5090 RTX 5080 RTX 5070 Ti RTX 6000 Pro RTX 6000 Ada RTX 4500 Ada RTX A6000 RTX A5000 RTX A4000 L40S L40 A40 A10 RTX 4090 RTX 4080 RTX 4070 Ti RTX 4070 RTX 4060 Ti RTX 4060 RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 Tesla V100 Tesla T4 A2 GTX 1080 | H100 SXM A100 SXM L40S RTX 4090 RTX 6000 Ada RTX 5090 RTX 3090 | A30 RTX A5000 RTX A6000 L40S RTX 6000 Ada A100 SXM H100 SXM GH200 RTX PRO 6000 | B300 B200 H200 H100 SXM H100 PCIe H100 NVL MI300X A100 SXM A100 PCIe RTX 5090 RTX PRO 6000 L40S L40 RTX 6000 Ada RTX 5000 Ada RTX A6000 RTX A5000 RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 A40 A30 A2 L4 | A30 RTX A5000 RTX A6000 L40S A100 SXM H100 PCIe H100 SXM H100 NVL RTX PRO 6000 H200 NVL | RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200 |
| Max VRAM (GB) | 192 | 80 | 96 | 288 | 141 | 192 |
| Max GPU/Istanze | 8 | 8 | 8 | 8 | 8 | 8 |
| Interconnessione | NVLink, InfiniBand | NVLink | NVLink | NVLink | NVLink | NVLink |
| Prezzi | ||||||
| Prezzo Iniziale ($/h) | $0.06/hr | $0.11/hr | $0.35/hr | $0.06/hr | $0.35/hr | $0.76/hr |
| Granularità di Fatturazione | Per secondo | Per secondo | Per ora | Per secondo | Al minuto | A secondo |
| Spot/Preemptible | Sì | Sì | No | Sì | No | No |
| Sconti Riservati | Fino al 50% (prenotazione da 1 a 6 mesi) | N/D | N/D | 15-29% (piani da 1 mese a 1 anno) | N/D | N/D |
| Crediti Gratuiti | Piccolo credito di prova all'iscrizione | Fino a $10.000 per startup | 200$ tramite programma di referral | Bonus da $5 a $500 dopo la prima spesa di $10 | Nessuno | Credito gratuito di $200 per 60 giorni |
| Tariffe di Uscita | Varia in base all'host ($/TB) | Nessuno (Gratuito) | Nessuno | Nessuno (Gratuito) | Nessuno | Nessuno (incluso nel piano) |
| Archiviazione | Varia in base all'host ($/GB/ora, addebitato mentre l'istanza esiste) | Disco container (60GB gratuiti), disco volume, volumi di rete | NVMe locale incluso (fino a 4x 3,8TB), Storage a blocchi 0,10$/GB/mese, Storage filesystem 0,05$/GB/mese | Contenitore/Volume ($0,10/GB/mese), Volume inattivo ($0,20/GB/mese), Archiviazione di rete ($0,07/GB/mese 1TB) | NVMe locale incluso con le istanze | Avvio NVMe da 500-720 GiB (incluso), scratch NVMe da 5 TiB nelle configurazioni più grandi, Volumi a $0,10/GiB/mese |
| Infrastruttura | ||||||
| Regioni | Oltre 500 sedi, oltre 40 data center | USA, UE, APAC, Sud America, Africa, Medio Oriente (oltre 20 sedi) | 23 sedi: USA (8 città), LATAM (5), Europa (5), APAC (4), Città del Messico. GPU a Dallas, Francoforte, Sydney, Tokyo | 31 regioni globali | Stati Uniti (data center Tier III) | New York (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3) |
| SLA di Disponibilità | Nessun SLA formale (punteggi di affidabilità dell'host visibili) | 99,9% | 99,9% | 99,99% | Tier III (progettazione 99,98%) | 99% |
| Esperienza Sviluppatore | ||||||
| Framework | PyTorch TensorFlow CUDA vLLM ComfyUI | PyTorch TensorFlow CUDA cuDNN TensorRT | Immagini ottimizzate per ML PyTorch TensorFlow (installato dall’utente) CUDA | PyTorch TensorFlow JAX ONNX CUDA | PyTorch TensorFlow CUDA cuDNN ComfyUI template ML preconfigurati | PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face |
| Supporto Docker | Sì | Sì | Sì | Sì | Sì | Sì |
| Accesso SSH | Sì | Sì | Sì | Sì | Sì | Sì |
| Jupyter Notebooks | Sì | Sì | No | Sì | No | Sì |
| API / CLI | Sì | Sì | Sì | Sì | Sì | Sì |
| Tempo di Configurazione | Secondi | N/D | Secondi | Istantaneo | Minuti | Minuti |
| Supporto Kubernetes | No | No | No | No | No | Sì |
| Termini Commerciali | ||||||
| Impegno Minimo | Nessuno | Nessuno | Nessuno | Nessuno | Nessuno | Nessuno |
| Conformità | SOC 2 Tipo 2 HIPAA GDPR CCPA | SOC 2 | Isolamento single-tenant DPA disponibile | SOC 2 Tipo II | SOC 2 Tipo II HIPAA | SOC 2 Tipo II SOC 3 HIPAA (con BAA) CSA STAR Livello 1 |
Vast.ai
Novita AI
Latitude.sh
RunPod
Massed Compute
DigitalOcean