Beste Cloud-GPU-Anbieter mit NVIDIA A40

Was die NVIDIA A40 tatsächlich ist

Die A40 ist eine Ampere-Generation Data-Center-GPU, die auf dem GA102-Chip basiert – derselben Siliziumfamilie, die auch NVIDIAs High-End-Ampere-Workstation- und Consumer-Karten antreibt. Sie gehört zur professionellen Visualisierungslinie von NVIDIA und nicht zur rechenorientierten A100-Linie, was alles daran prägt, wie sie vermietet wird und wofür sie gut ist. Das Hauptmerkmal für jeden, der sie mietet, ist die Speicherkapazität: Die A40 verfügt über 48 GB GDDR6 mit ECC, ein großer Speicherpool, der es ermöglicht, umfangreiche Modelle und Datensätze zu laden, ohne auf Multi-GPU-Sharding zurückgreifen zu müssen.

Da sie GDDR6 statt des auf der A100 verwendeten HBM2e nutzt, ist ihre rohe Speicherbandbreite geringer – im Bereich von Hunderten von GB/s statt der mehreren Terabyte pro Sekunde, die HBM-Karten liefern. Dieser einzelne Unterschied ist das Wichtigste, das man beim Lesen des obigen Vergleichs verstehen sollte: Die A40 bietet reichlich VRAM bei moderater Bandbreite, was ein ganz anderes Wertversprechen als eine bandbreitengebundene HBM-Karte darstellt.

Rechenleistung und Präzisionsunterstützung

Die A40 beinhaltet die Tensor Cores der dritten Generation und RT-Cores der zweiten Generation von Ampere. Für KI-Arbeiten sind die relevanten Präzisionen gut abgedeckt:

• FP16 und BF16 für Mixed-Precision-Training und Inferenz mit Tensor-Core-Beschleunigung.
• TF32, das Tensor-Format von Ampere, das FP32-ähnliche Trainingsberechnungen mit minimalen Codeänderungen beschleunigt.
• INT8 und INT4 für quantisierte, hochdurchsatzfähige Inferenz.
• Unterstützung für strukturelle Sparsität, die die effektive Tensor-Core-Durchsatzrate bei Modellen, die darauf trainiert sind, ungefähr verdoppeln kann.

Was sie nicht hat, ist FP8, das mit der späteren Hopper-Generation (H100) sowie den Ada- und Blackwell-Familien eingeführt wurde. Wenn Ihr Workflow speziell FP8-Trainings- oder Inferenz-Kerne anvisiert, ist die A40 die falsche Karte, und Sie sollten in der obigen Liste nach einer neueren Generation filtern.

Interconnect, Skalierung und Stromverbrauch

Die A40 verbindet sich über PCIe Gen4 und unterstützt NVLink, um ein Paar Karten zu koppeln, was einen kombinierten 96-GB-Speicherpool für speicherintensive Aufgaben ermöglicht. Sie skaliert jedoch nicht über viele GPUs mit demselben dichten NVLink-Fabric (NVSwitch), das die SXM A100/H100 verwenden, weshalb sie eher als starke Single- oder Dual-GPU-Karte denn als Basis für einen Acht-Wege-Trainingscluster betrachtet werden sollte. Es handelt sich um eine passiv gekühlte, serverorientierte Karte in etwa der 300-W-Klasse, was ein Grund dafür ist, dass Anbieter sie dicht gepackt und zu attraktiven Preisen anbieten können.

Für welche Workloads die A40 wirklich geeignet ist

Das Profil der A40 – viel VRAM, moderate Bandbreite, volle Ampere-KI-Funktionen plus echte RT-Cores – macht sie zu einem vielseitigen Mid-Tier-Mietgerät. Sie passt gut zu:

• Feinabstimmung und LoRA/QLoRA von mittelgroßen Sprachmodellen, bei denen 48 GB es erlauben, Optimizer-Zustände und längere Sequenzen im Speicher zu halten.
• Hochdurchsatz-Batch-Inferenz für Modelle im Bereich von 7B–34B Parametern (insbesondere quantisiert), bei denen Kapazität wichtiger ist als Spitzenbandbreite.
• Rendering, 3D, virtuelle Workstations und Visualisierung, wo die RT-Cores und der große Framebuffer direkt nützlich sind – das ist das angestammte Einsatzgebiet der Karte.
• Computer Vision, Diffusionsmodell-Bilderzeugung und allgemeine ML-Experimente, die bequem in 48 GB passen.

Sie ist überdimensioniert für winzige Modelle oder leichte Entwicklungsarbeiten, bei denen eine kleinere, günstigere Karte ausreicht, und unterdimensioniert für frontier-scale Pretraining sehr großer Modelle, bei denen HBM-Bandbreite, FP8 und dichter Multi-GPU-Interconnect gewünscht sind. Für latenzkritische Echtzeit-Inferenz bei extrem hohem Durchsatz gewinnt in der Regel eine neuere, auf Inferenz optimierte Karte in Tokens pro Sekunde pro Dollar, selbst wenn sie weniger VRAM hat.

Die A40 mieten: Kosten- und Verfügbarkeitskontext

Auf dem Mietmarkt befindet sich die A40 meist in der Mittelklasse – deutlich günstiger pro Stunde als HBM-Karten der Klasse A100/H100, aber über den Einstiegs-GPUs für Verbraucher. Ihr Reiz liegt im Kosten-pro-Gigabyte-VRAM: Wenn der Engpass darin besteht, das Modell im Speicher unterzubringen und nicht darin, es mit maximaler Bandbreite zu berechnen, ist die A40 oft der wirtschaftlichste Weg zu 48 GB. Da es sich um eine ausgereifte, weit verbreitete Karte handelt, ist die Verfügbarkeit auf Abruf meist gut und sie ist weniger anfällig für Knappheit und Wartelisten, die die neuesten Beschleuniger betreffen.

Viele Anbieter bieten sie auch auf Spot- oder unterbrechbaren Tarifen mit weiterem Rabatt an, was sich für checkpoint-basiertes Fein-Tuning und Batch-Jobs eignet, die Neustarts tolerieren. Die genauen Preise ändern sich ständig und unterscheiden sich je nach Anbieter, Region und Vertragsbindung, daher verwenden Sie den obigen Vergleich für aktuelle Stundenpreise statt eines festen Werts – und wenn Sie vergleichen, berücksichtigen Sie On-Demand versus Spot, Abrechnungsgranularität und ob NVLink-Kopplung angeboten wird, falls Sie den kombinierten 96-GB-Pool benötigen.

Häufig gestellte Fragen

Wie viel VRAM hat die NVIDIA A40?

Die A40 verfügt über 48 GB GDDR6-Speicher mit ECC. Diese große Kapazität ist ihr Hauptargument für die Vermietung, da sie das Fein-Tuning mittelgroßer Modelle oder die quantisierte Inferenz großer Modelle auf einer einzigen Karte ermöglicht.

Ist die A40 gut für das Training großer Sprachmodelle?

Sie eignet sich gut für Feinabstimmung und Training mittelgroßer Modelle dank ihres 48-GB-Pools, ist aber nicht ideal für frontier-scale Pretraining. Dafür benötigt man HBM-Bandbreite, FP8-Unterstützung und dichten Multi-GPU-Interconnect, wie er auf neueren Hopper- oder Blackwell-Karten zu finden ist – filtern Sie die obige Liste nach diesen, wenn Pretraining Ihr Ziel ist.

Wie vergleicht sich die A40 mit der A100?

Beide basieren auf Ampere, aber die A100 verwendet hochbandbreitigen HBM2e-Speicher für deutlich höhere Bandbreite und unterstützt dichte NVSwitch-Skalierung, was sie für groß angelegtes Training stärker macht. Die A40 tauscht diese Bandbreite gegen einen großen 48-GB-GDDR6-Pool plus RT-Cores und ist günstiger zu mieten – besser geeignet, wenn Kapazität und Kosten wichtiger sind als Spitzenleistung.

Unterstützt die A40 NVLink für Multi-GPU-Jobs?

Ja, zwei A40-Karten können mit NVLink verbunden werden, um einen kombinierten 96-GB-Speicherpool bereitzustellen, was bei Modellen hilft, die nicht auf eine einzelne Karte passen. Sie skaliert jedoch nicht über viele GPUs mit dem dichten Fabric, das bei SXM-Rechenzentrumskarten verwendet wird, daher sollte man sie als Single- oder Dual-GPU-Miete betrachten.