NVIDIA L40S real-world generative AI performance
Cevap
366 FP16 TFLOPS and 864 GB/s of memory bandwidth put NVIDIA L40S squarely in the class of accelerators targeted at modern transformer workloads. FP32 caps at 91.6 TFLOPS, which still handles most non-AI scientific compute comfortably.
For training from scratch, token throughput roughly tracks FP16 TFLOPS. For production inference on foundation models, throughput tracks bandwidth. Real-world numbers will depend heavily on the framework stack (PyTorch, TensorRT-LLM, vLLM), and can vary 30-50% depending on how aggressively you quantise.
The cheapest NVIDIA L40S right now is on Vast.ai at $0.55/hr; Novita AI and Latitude.sh also list it — pick the region and billing that fits your workload.
NVIDIA L40S hakkında daha fazla SSS
Vast.ai karşılaştır Novita AI karşılaştır Latitude.sh karşılaştır RunPod karşılaştır Massed Compute karşılaştır DigitalOcean - GPU Sağlayıcı Karşılaştırması (Nisan 2026)
Vast.ai karşılaştır Novita AI karşılaştır Latitude.sh karşılaştır RunPod karşılaştır Massed Compute karşılaştır DigitalOcean'in yan yana karşılaştırması. Maksimum fonlama, kar payları, risk kuralları, kaldıraç, platformlar, enstrümanlar, ödeme programları, ödeme seçenekleri, ticaret izinleri ve KYC kısıtlamalarını hızlıca tarayarak prop trading firması kısa listenizi daraltın. Veriler Nisan 2026 tarihinde güncellendi.
|
Vast.ai
Anında GPU'lar. Şeffaf Fiyatlandırma.
|
Novita AI
200'den fazla model API'si, GPU örnekleri ve ölçeklenebilir sunucusuz çıkarım ile AI ve Ajan Bulut platformu.
|
Latitude.sh
23 küresel konumda çıplak metal GPU bulutu
|
RunPod
Yapay Zeka için inşa edilmiş bulut — sunucusuz çıkarımdan anında çok düğümlü kümelere kadar GPU iş yüklerini talep üzerine dağıtın ve ölçeklendirin.
|
Massed Compute
Doğrudan mühendis desteği ile GPU bulutu
|
DigitalOcean
Basit, ölçeklenebilir AI/ML için GPU bulutu
|
|
|---|---|---|---|---|---|---|
| Genel Bakış | ||||||
| Trustpilot Puanı | 4.4 | 3.3 | 3.7 | 3.7 | 0 | 4.6 |
| Merkez Ofis | United States | United States | Brazil | United States | United States | United States |
| Sağlayıcı Türü | GPU Pazaryeri | GPU Odaklı | Çıplak Metal | GPU Odaklı | GPU Odaklı | Uygulanamaz |
| En İyi | Yapay zeka eğitimi çıkarım ince ayar Stable Diffusion toplu işleme araştırma LLM servisi üretken yapay zeka | Yapay zeka eğitimi çıkarım ince ayar üretken yapay zeka araştırma LLM servisi Stable Diffusion | Yapay zeka eğitimi çıkarım çıplak metal GPU ince ayar araştırma özel iş yükleri üretken yapay zeka | Yapay zeka eğitimi çıkarım ince ayar Stable Diffusion toplu işleme render araştırma LLM servisi üretken yapay zeka | Yapay zeka eğitimi çıkarım VFX render üretken yapay zeka ince ayar HPC Stable Diffusion araştırma | Yapay zeka eğitimi çıkarım ince ayar LLM dağıtımı LLM servisi bilgisayarla görme girişimler üretken yapay zeka araştırma |
| GPU Donanımı | ||||||
| GPU Modelleri | B200 H200 H100 SXM H100 NVL A100 SXM A100 PCIe RTX 5090 RTX 5080 RTX 5070 Ti RTX 6000 Pro RTX 6000 Ada RTX 4500 Ada RTX A6000 RTX A5000 RTX A4000 L40S L40 A40 A10 RTX 4090 RTX 4080 RTX 4070 Ti RTX 4070 RTX 4060 Ti RTX 4060 RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 Tesla V100 Tesla T4 A2 GTX 1080 | H100 SXM A100 SXM L40S RTX 4090 RTX 6000 Ada RTX 5090 RTX 3090 | A30 RTX A5000 RTX A6000 L40S RTX 6000 Ada A100 SXM H100 SXM GH200 RTX PRO 6000 | B300 B200 H200 H100 SXM H100 PCIe H100 NVL MI300X A100 SXM A100 PCIe RTX 5090 RTX PRO 6000 L40S L40 RTX 6000 Ada RTX 5000 Ada RTX A6000 RTX A5000 RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 A40 A30 A2 L4 | A30 RTX A5000 RTX A6000 L40S A100 SXM H100 PCIe H100 SXM H100 NVL RTX PRO 6000 H200 NVL | RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200 |
| Maks VRAM (GB) | 192 | 80 | 96 | 288 | 141 | 192 |
| Maks GPU/Örnek | 8 | 8 | 8 | 8 | 8 | 8 |
| Bağlantı | NVLink, InfiniBand | NVLink | NVLink | NVLink | NVLink | NVLink |
| Fiyatlandırma | ||||||
| Başlangıç Fiyatı ($/saat) | $0.06/hr | $0.11/hr | $0.35/hr | $0.06/hr | $0.35/hr | $0.76/hr |
| Faturalama Detayı | Saniye başına | Saniye başına | Saatlik | Saniye başına | Dakika başına | Saniye başına |
| Spot/Öncelikli | Evet | Evet | Hayır | Evet | Hayır | Hayır |
| Ayrılmış İndirimler | %50’ye kadar (1-6 ay ön rezervasyon) | Uygulanamaz | Uygulanamaz | %15-29 (1 aydan 1 yıla kadar planlar) | Uygulanamaz | Uygulanamaz |
| Ücretsiz Krediler | Kayıt sırasında küçük test kredisi | Yeni başlayanlar için 10.000 $'a kadar | Referans programı ile 200 $ | İlk 10$ harcamadan sonra 5$-500$ bonus | Yok | 60 gün için 200$ ücretsiz kredi |
| Çıkış Ücretleri | Host’a göre değişir ($/TB) | Yok (Ücretsiz) | Yok | Yok (Ücretsiz) | Yok | Yok (plana dahil) |
| Depolama | Host’a göre değişir ($/GB/saat, örnek var olduğu sürece ücretlendirilir) | Konteyner diski (60GB ücretsiz), hacim diski, ağ hacimleri | Yerel NVMe dahil (en fazla 4x 3.8TB), Blok Depolama 0,10 $/GB/ay, Dosya Sistemi Depolama 0,05 $/GB/ay | Konteyner/Hacim (0,10$/GB/ay), Boşta Hacim (0,20$/GB/ay), Ağ Depolama (0,07$/GB/ay 1TB) | Örneklerle birlikte yerel NVMe dahil | 500-720 GiB NVMe önyükleme (dahil), daha büyük konfigürasyonlarda 5 TiB NVMe geçici depolama, Hacimler $0.10/GiB/ay |
| Altyapı | ||||||
| Bölgeler | 500+ lokasyon, 40+ veri merkezi | ABD, AB, APAC, Güney Amerika, Afrika, Orta Doğu (20+ lokasyon) | 23 konum: ABD (8 şehir), LATAM (5), Avrupa (5), APAC (4), Meksiko Şehri. GPU Dallas, Frankfurt, Sidney, Tokyo'da | 31 küresel bölge | Amerika Birleşik Devletleri (Tier III veri merkezleri) | New York (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3) |
| Çalışma Süresi SLA | Resmi SLA yok (host güvenilirlik puanları görünür) | %99,9 | %99,9 | %99,99 | Tier III (yüzde 99,98 tasarım) | %99 |
| Geliştirici Deneyimi | ||||||
| Çerçeveler | PyTorch TensorFlow CUDA vLLM ComfyUI | PyTorch TensorFlow CUDA cuDNN TensorRT | ML-optimze edilmiş imajlar PyTorch TensorFlow (kullanıcı tarafından kurulur) CUDA | PyTorch TensorFlow JAX ONNX CUDA | PyTorch TensorFlow CUDA cuDNN ComfyUI önceden yapılandırılmış ML şablonları | PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face |
| Docker Desteği | Evet | Evet | Evet | Evet | Evet | Evet |
| SSH Erişimi | Evet | Evet | Evet | Evet | Evet | Evet |
| Jupyter Not Defterleri | Evet | Evet | Hayır | Evet | Hayır | Evet |
| API / CLI | Evet | Evet | Evet | Evet | Evet | Evet |
| Kurulum Süresi | Saniyeler | Uygulanamaz | Saniyeler | Anında | Dakikalar | Dakikalar |
| Kubernetes Desteği | Hayır | Hayır | Hayır | Hayır | Hayır | Evet |
| İş Koşulları | ||||||
| Min Taahhüt | Yok | Yok | Yok | Yok | Yok | Yok |
| Uyumluluk | SOC 2 Tip 2 HIPAA GDPR CCPA | SOC 2 | Tek kiracı izolasyonu DPA mevcut | SOC 2 Tip II | SOC 2 Tip II HIPAA | SOC 2 Tip II SOC 3 HIPAA (BAA ile) CSA STAR Seviye 1 |
Vast.ai
Novita AI
Latitude.sh
RunPod
Massed Compute
DigitalOcean