What is the memory bandwidth of NVIDIA L40S?
Antwort
At a glance: NVIDIA L40S = Ada Lovelace architecture, 48 GB GDDR6 memory, 864 GB/s bandwidth, 366 FP16 TFLOPS, 91.6 FP32 TFLOPS, 350W, 2023.
Those specs tell most of the story for machine learning: VRAM sets the model ceiling, bandwidth throttles attention-heavy production inference, and TFLOPS set pre-training throughput. NVIDIA L40S sits firmly in the class of accelerators targeted at modern transformer workloads — the bandwidth/TFLOPS balance is tuned for large-batch pre-training and production production inference rather than gaming.
Top cloud providers offering NVIDIA L40S: Vast.ai (from $0.55/hr), Novita AI, and Latitude.sh. Start comparing live rates.
Mehr FAQs zu NVIDIA L40S
Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean – GPU-Anbieter Vergleich (April 2026)
Nebeneinander-Vergleich von Vast.ai vs Novita AI vs Latitude.sh vs RunPod vs Massed Compute vs DigitalOcean. Überprüfen Sie schnell maximales Funding, Gewinnaufteilung, Risikoregeln, Hebel, Plattformen, Instrumente, Auszahlungspläne, Zahlungsoptionen, Handelsberechtigungen und KYC-Beschränkungen, um Ihre Prop-Trading-Firma-Auswahl einzugrenzen. Daten aktualisiert April 2026.
|
Vast.ai
Sofortige GPUs. Transparente Preisgestaltung.
|
Novita AI
KI- & Agenten-Cloud-Plattform mit über 200 Modell-APIs, GPU-Instanzen und serverlosem Inferenzbetrieb in großem Maßstab.
|
Latitude.sh
Bare-Metal-GPU-Cloud an 23 globalen Standorten
|
RunPod
Die Cloud, gebaut für KI — GPU-Workloads von serverlosem Inferenzbetrieb bis hin zu sofortigen Multi-Knoten-Clustern auf Abruf bereitstellen und skalieren.
|
Massed Compute
GPU-Cloud mit direktem Ingenieursupport
|
DigitalOcean
Einfache, skalierbare GPU-Cloud für KI/ML
|
|
|---|---|---|---|---|---|---|
| Übersicht | ||||||
| Trustpilot-Bewertung | 4.4 | 3.3 | 3.7 | 3.7 | 0 | 4.6 |
| Hauptsitz | United States | United States | Brazil | United States | United States | United States |
| Anbietertyp | GPU-Marktplatz | GPU-Fokussiert | Bare Metal | GPU-Fokussiert | GPU-Fokussiert | Nicht verfügbar |
| Am besten für | KI-Training Inferenz Feinabstimmung Stable Diffusion Batch-Verarbeitung Forschung LLM-Bereitstellung generative KI | KI-Training Inferenz Feinabstimmung generative KI Forschung LLM-Bereitstellung Stable Diffusion | KI-Training Inferenz Bare-Metal-GPU Feinabstimmung Forschung dedizierte Arbeitslasten generative KI | KI-Training Inferenz Feinabstimmung Stable Diffusion Batch-Verarbeitung Rendering Forschung LLM-Bereitstellung generative KI | KI-Training Inferenz VFX-Rendering generative KI Feinabstimmung HPC Stable Diffusion Forschung | KI-Training Inferenz Feinabstimmung LLM-Bereitstellung LLM-Servierung Computer Vision Start-ups generative KI Forschung |
| GPU-Hardware | ||||||
| GPU-Modelle | B200 H200 H100 SXM H100 NVL A100 SXM A100 PCIe RTX 5090 RTX 5080 RTX 5070 Ti RTX 6000 Pro RTX 6000 Ada RTX 4500 Ada RTX A6000 RTX A5000 RTX A4000 L40S L40 A40 A10 RTX 4090 RTX 4080 RTX 4070 Ti RTX 4070 RTX 4060 Ti RTX 4060 RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 Tesla V100 Tesla T4 A2 GTX 1080 | H100 SXM A100 SXM L40S RTX 4090 RTX 6000 Ada RTX 5090 RTX 3090 | A30 RTX A5000 RTX A6000 L40S RTX 6000 Ada A100 SXM H100 SXM GH200 RTX PRO 6000 | B300 B200 H200 H100 SXM H100 PCIe H100 NVL MI300X A100 SXM A100 PCIe RTX 5090 RTX PRO 6000 L40S L40 RTX 6000 Ada RTX 5000 Ada RTX A6000 RTX A5000 RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 A40 A30 A2 L4 | A30 RTX A5000 RTX A6000 L40S A100 SXM H100 PCIe H100 SXM H100 NVL RTX PRO 6000 H200 NVL | RTX 4000 Ada RTX 6000 Ada L40S MI300X H100 SXM H200 |
| Max. VRAM (GB) | 192 | 80 | 96 | 288 | 141 | 192 |
| Max. GPUs/Instanz | 8 | 8 | 8 | 8 | 8 | 8 |
| Interconnect | NVLink, InfiniBand | NVLink | NVLink | NVLink | NVLink | NVLink |
| Preise | ||||||
| Startpreis ($/Std.) | $0.06/hr | $0.11/hr | $0.35/hr | $0.06/hr | $0.35/hr | $0.76/hr |
| Abrechnungsgranularität | Pro Sekunde | Pro Sekunde | Pro Stunde | Pro Sekunde | Pro Minute | Pro Sekunde |
| Spot/Unterbrechbar | Ja | Ja | Nein | Ja | Nein | Nein |
| Reservierte Rabatte | Bis zu 50 % (1-6 Monate reserviert) | Nicht verfügbar | Nicht verfügbar | 15-29 % (Pläne von 1 Monat bis 1 Jahr) | Nicht verfügbar | Nicht verfügbar |
| Kostenlose Guthaben | Kleines Testguthaben bei Anmeldung | Bis zu 10.000 $ für Startups | 200 $ über Empfehlungsprogramm | 5–500 $ Bonus nach den ersten 10 $ Ausgaben | Keine | 200 $ Guthaben für 60 Tage |
| Ausgangsgebühren | Variiert je nach Host ($/TB) | Keine (kostenlos) | Keine | Keine (Kostenlos) | Keine | Keine (im Plan enthalten) |
| Speicher | Variiert je nach Host ($/GB/Stunde, berechnet solange die Instanz besteht) | Container-Datenträger (60 GB kostenlos), Volumen-Datenträger, Netzlaufwerke | Lokaler NVMe-Speicher inklusive (bis zu 4x 3,8 TB), Blockspeicher 0,10 $/GB/Monat, Dateisystemspeicher 0,05 $/GB/Monat | Container/Volumen (0,10 $/GB/Monat), Leerlauf-Volumen (0,20 $/GB/Monat), Netzwerkspeicher (0,07 $/GB/Monat 1TB) | Lokales NVMe ist bei den Instanzen enthalten | 500-720 GiB NVMe-Boot (inklusive), 5 TiB NVMe-Scratch bei größeren Konfigurationen, Volumes zu 0,10 $/GiB/Monat |
| Infrastruktur | ||||||
| Regionen | 500+ Standorte, 40+ Rechenzentren | USA, EU, APAC, Südamerika, Afrika, Naher Osten (über 20 Standorte) | 23 Standorte: USA (8 Städte), LATAM (5), Europa (5), APAC (4), Mexiko-Stadt. GPU in Dallas, Frankfurt, Sydney, Tokio | 31 globale Regionen | Vereinigte Staaten (Tier-III-Rechenzentren) | New York (NYC2), Toronto (TOR1), Atlanta (ATL1), Richmond (RIC1), Amsterdam (AMS3) |
| Verfügbarkeits-SLA | Kein formeller SLA (Zuverlässigkeitsbewertungen des Hosts sichtbar) | 99,9 % | 99,9 % | 99,99 % | Tier III (99,98 % Auslegung) | 99 % |
| Entwicklererfahrung | ||||||
| Frameworks | PyTorch TensorFlow CUDA vLLM ComfyUI | PyTorch TensorFlow CUDA cuDNN TensorRT | ML-optimierte Images PyTorch TensorFlow (vom Nutzer installiert) CUDA | PyTorch TensorFlow JAX ONNX CUDA | PyTorch TensorFlow CUDA cuDNN ComfyUI vorkonfigurierte ML-Vorlagen | PyTorch TensorFlow Jupyter Miniconda CUDA ROCm Hugging Face |
| Docker-Unterstützung | Ja | Ja | Ja | Ja | Ja | Ja |
| SSH-Zugang | Ja | Ja | Ja | Ja | Ja | Ja |
| Jupyter Notebooks | Ja | Ja | Nein | Ja | Nein | Ja |
| API / CLI | Ja | Ja | Ja | Ja | Ja | Ja |
| Einrichtungszeit | Sekunden | Nicht verfügbar | Sekunden | Sofort | Minuten | Minuten |
| Kubernetes-Unterstützung | Nein | Nein | Nein | Nein | Nein | Ja |
| Geschäftsbedingungen | ||||||
| Mindestverpflichtung | Keine | Keine | Keine | Keine | Keine | Keine |
| Compliance | SOC 2 Typ 2 HIPAA DSGVO CCPA | SOC 2 | Einzelmandanten-Isolation DPA verfügbar | SOC 2 Typ II | SOC 2 Typ II HIPAA | SOC 2 Typ II SOC 3 HIPAA (mit BAA) CSA STAR Level 1 |
Vast.ai
Novita AI
Latitude.sh
RunPod
Massed Compute
DigitalOcean