NVIDIA L40S real-world generative AI performance

Jawaban

366 FP16 TFLOPS and 864 GB/s of memory bandwidth put NVIDIA L40S squarely in the class of accelerators targeted at modern transformer workloads. FP32 caps at 91.6 TFLOPS, which still handles most non-AI scientific compute comfortably.

For training from scratch, token throughput roughly tracks FP16 TFLOPS. For production inference on foundation models, throughput tracks bandwidth. Real-world numbers will depend heavily on the framework stack (PyTorch, TensorRT-LLM, vLLM), and can vary 30-50% depending on how aggressively you quantise.

The cheapest NVIDIA L40S right now is on Vast.ai at $0.55/hr; Novita AI and Latitude.sh also list it — pick the region and billing that fits your workload.

Lebih Banyak FAQ tentang NVIDIA L40S

Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean - Perbandingan Penyedia GPU (April 2026)

Perbandingan berdampingan Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean. Cepat tinjau pendanaan maksimum, pembagian keuntungan, aturan risiko, leverage, platform, instrumen, jadwal pembayaran, opsi pembayaran, izin perdagangan, dan pembatasan KYC untuk mempersempit daftar perusahaan trading prop Anda. Data diperbarui April 2026.

Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean - Perbandingan Penyedia GPU (April 2026)
	Vast.ai GPU Instan. Harga Transparan. Visit Vast.ai	Novita AI Platform Cloud AI & Agen dengan lebih dari 200 API model, instance GPU, dan inferensi tanpa server dalam skala besar. Visit Novita AI	Latitude.sh Cloud GPU bare metal di 23 lokasi global Visit Latitude.sh	RunPod Cloud yang dibangun untuk AI — jalankan dan skalakan beban kerja GPU dari inferensi tanpa server hingga klaster multi-node instan sesuai permintaan. Visit RunPod	Massed Compute Cloud GPU dengan dukungan langsung dari insinyur Visit Massed Compute	DigitalOcean GPU cloud yang sederhana dan dapat diskalakan untuk AI/ML Visit DigitalOcean
Ikhtisar
Peringkat Trustpilot	4.4	3.3	3.7	3.7	0	4.6
Kantor Pusat	United States	United States	Brazil	United States	United States	United States
Jenis Penyedia	Pasar GPU	Fokus pada GPU	Bare Metal	Fokus pada GPU	Fokus pada GPU	Tidak tersedia
Terbaik Untuk	Pelatihan AI inferensi penyetelan halus Stable Diffusion pemrosesan batch riset penyajian LLM AI generatif	Pelatihan AI inferensi penyetelan halus AI generatif riset penyajian LLM Stable Diffusion	Pelatihan AI inferensi GPU bare metal fine-tuning riset beban kerja khusus AI generatif	Pelatihan AI inferensi penyetelan halus Stable Diffusion pemrosesan batch rendering riset penyajian LLM AI generatif	Pelatihan AI inferensi rendering VFX AI generatif fine-tuning HPC Stable Diffusion riset	Pelatihan AI inferensi penyetelan halus penyebaran LLM penyajian LLM visi komputer startup AI generatif riset
Perangkat Keras GPU
Model GPU	B200 H200 H100 SXM H100 NVL A100 SXM A100 PCIe RTX 5090 RTX 5080 RTX 5070 Ti RTX 6000 Pro RTX 6000 Ada RTX 4500 Ada RTX A6000 RTX A5000 RTX A4000 L40S L40 A40 A10 RTX 4090 RTX 4080 RTX 4070 Ti RTX 4070 RTX 4060 Ti RTX 4060 RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 Tesla V100 Tesla T4 A2 GTX 1080	H100 SXM A100 SXM L40S RTX 4090 RTX 6000 Ada RTX 5090 RTX 3090	A30 RTX A5000 RTX A6000 L40S RTX 6000 Ada A100 SXM H100 SXM GH200 RTX PRO 6000	B300 B200 H200 H100 SXM H100 PCIe H100 NVL MI300X A100 SXM A100 PCIe RTX 5090 RTX PRO 6000 L40S L40 RTX 6000 Ada RTX 5000 Ada RTX A6000 RTX A5000 RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 A40 A30 A2 L4	A30 RTX A5000 RTX A6000 L40S A100 SXM H100 PCIe H100 SXM H100 NVL RTX PRO 6000 H200 NVL	RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200
Maks VRAM (GB)	192	80	96	288	141	192
Maks GPU/Instance	8	8	8	8	8	8
Interkoneksi	NVLink, InfiniBand	NVLink	NVLink	NVLink	NVLink	NVLink
Harga
Harga Mulai ($/jam)	$0.06/hr	$0.11/hr	$0.35/hr	$0.06/hr	$0.35/hr	$0.76/hr
Granularitas Penagihan	Per detik	Per detik	Per jam	Per detik	Per menit	Per detik
Spot/Preemptible	Ya	Ya	Tidak	Ya	Tidak	Tidak
Diskon Cadangan	Hingga 50% (reservasi 1-6 bulan)	Tidak tersedia	Tidak tersedia	15-29% (rencana 1 bulan hingga 1 tahun)	Tidak tersedia	Tidak tersedia
Kredit Gratis	Kredit uji kecil saat mendaftar	Hingga $10.000 untuk startup	$200 melalui program referral	Bonus $5-$500 setelah pengeluaran pertama $10	Tidak ada	Kredit gratis $200 selama 60 hari
Biaya Keluar	Bervariasi menurut host ($/TB)	Tidak ada (Gratis)	Tidak ada	Tidak ada (Gratis)	Tidak ada	Tidak ada (termasuk dalam paket)
Penyimpanan	Bervariasi menurut host ($/GB/jam, dikenakan biaya selama instance ada)	Disk kontainer (60GB gratis), disk volume, volume jaringan	NVMe lokal termasuk (hingga 4x 3,8TB), Penyimpanan Blok $0,10/GB/bulan, Penyimpanan Sistem Berkas $0,05/GB/bulan	Kontainer/Volume ($0,10/GB/bulan), Volume Menganggur ($0,20/GB/bulan), Penyimpanan Jaringan ($0,07/GB/bulan 1TB)	NVMe lokal termasuk dengan instance	Boot NVMe 500-720 GiB (termasuk), scratch NVMe 5 TiB pada konfigurasi lebih besar, Volume dengan biaya $0,10/GiB/bulan
Infrastruktur
Wilayah	500+ lokasi, 40+ pusat data	AS, UE, APAC, Amerika Selatan, Afrika, Timur Tengah (20+ lokasi)	23 lokasi: AS (8 kota), LATAM (5), Eropa (5), APAC (4), Kota Meksiko. GPU tersedia di Dallas, Frankfurt, Sydney, Tokyo	31 wilayah global	Amerika Serikat (pusat data Tier III)	New York (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3)
SLA Waktu Aktif	Tidak ada SLA formal (skor keandalan host terlihat)	99,9%	99,9%	99,99%	Tier III (desain 99,98%)	99%
Pengalaman Pengembang
Kerangka Kerja	PyTorch TensorFlow CUDA vLLM ComfyUI	PyTorch TensorFlow CUDA cuDNN TensorRT	Gambar yang dioptimalkan untuk ML PyTorch TensorFlow (dipasang pengguna) CUDA	PyTorch TensorFlow JAX ONNX CUDA	PyTorch TensorFlow CUDA cuDNN ComfyUI template ML yang sudah dikonfigurasi sebelumnya	PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face
Dukungan Docker	Ya	Ya	Ya	Ya	Ya	Ya
Akses SSH	Ya	Ya	Ya	Ya	Ya	Ya
Jupyter Notebooks	Ya	Ya	Tidak	Ya	Tidak	Ya
API / CLI	Ya	Ya	Ya	Ya	Ya	Ya
Waktu Setup	Detik	Tidak tersedia	Detik	Instan	Menit	Menit
Dukungan Kubernetes	Tidak	Tidak	Tidak	Tidak	Tidak	Ya
Ketentuan Bisnis
Komitmen Minimum	Tidak ada	Tidak ada	Tidak ada	Tidak ada	Tidak ada	Tidak ada
Kepatuhan	SOC 2 Tipe 2 HIPAA GDPR CCPA	SOC 2	Isolasi penyewa tunggal DPA tersedia	SOC 2 Tipe II	SOC 2 Tipe II HIPAA	SOC 2 Tipe II SOC 3 HIPAA (dengan BAA) CSA STAR Level 1