Béreljen NVIDIA L40 a felhőben

A NVIDIA L40 specifikáció rövid változata: 48 GB GDDR6, 864 GB/s, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300W.

Hosszú változat: a kártya nagy tenzorokon végzett vegyes pontosságú mátrixszorzásra van hangolva, ami pontosan az, amit a transzformer tréning és termelési inferencia igényel. A sávszélesség elég bőséges, hogy elkerülje a figyelem műveletek miatti akadozást, és a VRAM kapacitás lefedi a modern modellméreteket anélkül, hogy CPU memóriára kellene áthelyezni.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

NVIDIA L40 teljesítményfő adat: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 GB/s sávszélesség, 48 GB VRAM.

Gyakorlati mérőszámokra átváltva: egy 7 milliárd paraméteres LLM FP16 tanítása ésszerű tömegméretekkel általában előbb telíti a számítási kapacitást, mint a sávszélességet; ugyanazon modell valós idejű kiszolgálása általában sávszélesség-korlátozott, és követi az 864 GB/s értéket. A diffúziós képgenerálás mérőszámai a kettő között helyezkednek el — a számításigényes lépések jól kihasználják a tenzormagokat, míg a figyelem blokkok még mindig érintik a sávszélességet.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 leginkább olyan munkaterhelésekhez ideális, ahol a 48 GB VRAM és a Ada Lovelace tensor magok jól illeszkednek: Inference, video processing, rendering.

Ha a munkaterhelése jelentősen több memóriát igényel (például határvonal-szintű modellek tanítása a nulláról), akkor NVIDIA L40 túl kicsi, és inkább egy H100/H200/B200 osztályú kártyára lenne szüksége. Ha kevesebbre van szüksége (például kis léptékű kiszolgálás 7 milliárd paraméteres modelleken), akkor olcsóbb kártyák, mint az L4 vagy az RTX 4090, költséghatékonyabbak lehetnek. A középső sávban általában NVIDIA L40 a legértelmesebb választás.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.