Nejlepší poskytovatelé cloudových GPU s NVIDIA A40

Co vlastně NVIDIA A40 je

A40 je grafická karta generace Ampere určená pro datová centra, postavená na čipu GA102 — stejná rodina čipů pohání špičkové pracovní stanice a spotřebitelské karty NVIDIA Ampere. Patří do profesionální řady vizualizace NVIDIA, nikoli do řady A100 zaměřené primárně na výpočty, což ovlivňuje vše od způsobu pronájmu až po její silné stránky. Hlavní předností pro každého, kdo ji pronajímá, je kapacita paměti: A40 má 48 GB paměti GDDR6 s ECC, což je velký objem, který umožňuje načítat rozsáhlé modely a datové sady bez nutnosti rozdělování na více GPU.

Protože používá GDDR6 místo HBM2e, které je u A100, je její hrubá propustnost paměti nižší — přibližně v řádu stovek GB/s namísto několika terabajtů za sekundu, které poskytují karty s HBM. Tento jediný rozdíl je nejdůležitější pro pochopení výše uvedeného srovnání: A40 nabízí velkou kapacitu VRAM při střední propustnosti, což je velmi odlišná hodnota oproti kartě s HBM, která je omezena propustností.

Výpočetní výkon a podpora přesnosti

A40 obsahuje třetí generaci Tensor Core a druhou generaci RT jader z architektury Ampere. Pro práci s umělou inteligencí jsou podporovány relevantní přesnosti:

• FP16 a BF16 pro trénink a inferenci s kombinovanou přesností, s akcelerací Tensor Core.
• TF32, tensorový formát Ampere, který urychluje výpočty ve stylu FP32 s minimálními změnami kódu.
• INT8 a INT4 pro kvantizovanou inferenci s vysokou propustností.
• Podpora strukturální řídkosti, která může přibližně zdvojnásobit efektivní propustnost Tensor Core u modelů trénovaných k jejímu využití.

Co nemá je FP8, které přišlo s pozdější generací Hopper (H100) a rodinami Ada a Blackwell. Pokud váš pracovní postup konkrétně cílí na trénink nebo inferenční jádra FP8, A40 není vhodná karta a měli byste v seznamu výše filtrovat novější generaci.

Propojení, škálování a spotřeba energie

A40 se připojuje přes PCIe Gen4 a podporuje NVLink pro propojení dvou karet, což může vytvořit společný 96GB paměťový prostor pro náročné úlohy. Nepodporuje škálování přes mnoho GPU pomocí stejné husté NVLink sítě (NVSwitch), kterou používají SXM A100/H100, proto je vhodnější ji považovat za silnou kartu pro jedno nebo dvě GPU než za základ osmijádrového tréninkového clusteru. Je to pasivně chlazená karta orientovaná na servery s přibližnou spotřebou 300 W, což je jeden z důvodů, proč ji poskytovatelé mohou hustě nasadit a nabízet za atraktivní ceny.

Pro jaké pracovní zatížení je A40 skutečně vhodná

Profil A40 — hodně VRAM, střední propustnost, plná podpora AI funkcí Ampere a skutečná RT jádra — z ní dělá univerzální střední třídu pro pronájem. Je silně vhodná pro:

• Doladění a LoRA/QLoRA středně velkých jazykových modelů, kde 48 GB umožňuje udržet stavy optimalizátoru a delší sekvence v paměti.
• Inferenci s vysokou propustností dávky pro modely v rozsahu 7B–34B parametrů (zejména kvantizované), kde je důležitější kapacita než špičková propustnost.
• Renderování, 3D, virtuální pracovní stanice a vizualizace, kde jsou RT jádra a velký frame buffer přímo užitečné — to je doména této karty.
• Počítačové vidění, generování obrázků pomocí difuzních modelů a obecné experimentování s ML, které pohodlně pojme 48 GB paměti.

Je přehnaná pro malé modely nebo lehkou vývojovou práci, kde by postačila menší a levnější karta, a nedostatečná pro špičkový předtrénink velmi velkých modelů, kde potřebujete HBM propustnost, FP8 a husté propojení více GPU. Pro latencí kritickou inferenci v reálném čase s extrémní propustností obvykle vyhraje novější karta optimalizovaná pro inferenci na počet tokenů za sekundu na dolar, i když má méně VRAM.

Pronájem A40: kontext nákladů a dostupnosti

Na trhu pronájmů A40 obvykle patří do střední třídy — je výrazně levnější za hodinu než karty třídy A100/H100 s HBM, ale nad úrovní vstupních spotřebitelských GPU. Její atraktivita spočívá v poměru cena za gigabajt VRAM: pokud je vaším úzkým místem uložit model v paměti, nikoli jej zpracovávat na maximální propustnosti, A40 je často nejúspornější způsob, jak získat 48 GB. Protože je to zralá a široce nasazená karta, dostupnost na vyžádání bývá dobrá a je méně náchylná k nedostatku a čekacím listinám, které postihují nejnovější akcelerátory.

Mnoho poskytovatelů ji také nabízí v spotových nebo přerušitelných režimech za další slevu, což vyhovuje doladění s kontrolními body a dávkovým úlohám, které tolerují restart. Přesné sazby se neustále mění a liší podle poskytovatele, regionu a závazku, proto použijte výše uvedené srovnání pro aktuální ceny za hodinu místo pevné částky — a při porovnávání zvažte on-demand versus spot, granularitu účtování a zda je nabízeno párování NVLink, pokud potřebujete společný 96GB paměťový prostor.

Často kladené otázky

Kolik VRAM má NVIDIA A40?

A40 má 48 GB paměti GDDR6 s ECC. Tato velká kapacita je jejím hlavním lákadlem pro pronájem, umožňuje doladění středně velkých modelů nebo spuštění kvantizované inferenční práce na jednom GPU.

Je A40 vhodná pro trénink velkých jazykových modelů?

Je dobře vhodná pro doladění a trénink středně velkých modelů díky svým 48 GB, ale není ideální pro špičkový předtrénink. Pro ten potřebujete HBM propustnost, podporu FP8 a husté propojení více GPU, které najdete u novějších karet Hopper nebo Blackwell — v seznamu výše proto filtrujte podle těchto karet, pokud je vaším cílem předtrénink.

Jak se A40 srovnává s A100?

Obě jsou z generace Ampere, ale A100 používá vysokorychlostní paměť HBM2e s mnohem větší propustností a podporuje husté škálování NVSwitch, což ji činí silnější pro rozsáhlý trénink. A40 vyměnila tuto propustnost za velký 48GB GDDR6 prostor a RT jádra a pronajímá se levněji — lépe vyhovuje, když je důležitější kapacita a cena než špičkový výkon.

Podporuje A40 NVLink pro úlohy s více GPU?

Ano, dvě A40 lze propojit přes NVLink a vytvořit tak společný paměťový prostor 96 GB, což pomáhá u modelů, které se nevejdou na jednu kartu. Nepodporuje však škálování přes mnoho GPU pomocí husté sítě používané u SXM karet pro datová centra, proto ji vnímejte jako pronájem pro jedno nebo dvě GPU.