Pronajmout NVIDIA L40 v cloudu

Krátká verze specifikace NVIDIA L40: 48 GB GDDR6, 864 GB/s, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300W.

Dlouhá verze: karta je optimalizována pro maticové násobení smíšené přesnosti na velkých tenzorech, což přesně odpovídá požadavkům tréninku transformerů a produkční inference. Propustnost je dostatečně velkorysá, aby se zabránilo zdržování při operacích pozornosti, a kapacita VRAM pokrývá moderní velikosti modelů bez nutnosti přesunu do paměti CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Hlavní výkonové parametry NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 GB/s propustnost, 48 GB VRAM.

Převedeno do praktických benchmarků: trénink modelu 7B parametrů LLM v FP16 s rozumnými velikostmi dávek obvykle saturuje výpočet před propustností; reálné nasazení na stejném modelu je obvykle omezeno propustností a sleduje hodnotu 864 GB/s. Benchmarky generování obrazů difuzí jsou mezi těmito dvěma — výpočetně náročné kroky dobře využívají tensorová jádra, zatímco attention bloky stále zatěžují propustnost.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 je nejlepší pro pracovní zátěže, kde jeho 48 GB VRAM a Ada Lovelace tensor jader jsou dobře sladěny: Inference, video processing, rendering.

Pokud vaše pracovní zátěž vyžaduje výrazně více paměti (např. trénování modelů na hranici možností od začátku), NVIDIA L40 je poddimenzovaný a budete chtít kartu třídy H100/H200/B200. Pokud potřebujete méně (např. malé nasazení na modelech s 7 miliardami parametrů), levnější karty jako L4 nebo RTX 4090 mohou být nákladově efektivnější. Pro střední pásmo je obvykle rozumnou volbou NVIDIA L40.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.