Béreljen NVIDIA L4 a felhőben

A legjobb ár-érték arányú felhő NVIDIA L4 díjat, amit nyomon követünk, $0.39 óránként RunPod-on. Ez az ár az igény szerinti számlázást tükrözi; azok a szolgáltatók, amelyek támogatják a spot/előkészíthető példányokat, az árakat óránkénti szintre csökkentik — ez körülbelül up to 60% megtakarítást jelent az olyan munkaterhelések esetén, amelyek megszakítást el tudnak viselni.

Ha előre lefoglalt kapacitásra köteleződik el, további up to 40% kedvezményre számíthat. Ad hoc kísérletekhez az igény szerinti ajánlatot javasoljuk; többnapos előképzéshez pedig a spot és az igény szerinti keverékét. Az óradíjak heti szinten változhatnak a szolgáltatók versenyének függvényében, ezért hosszabb futtatás előtt mindig ellenőrizze az élő táblázatot.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 2023 jelent meg, egy Ada Lovelace osztályú gyorsító 24 GB GDDR6, 300 GB/s memória sávszélességgel és 121 FP16 TFLOPS számítási teljesítménnyel. FP32 csúcsa 30.3 TFLOPS, és a kártya akár 72W-ot is fogyaszthat.

Gyakorlati szempontból: elegendő VRAM a ~24 milliárd paraméteres tartományú modellek betöltéséhez FP16-ban (nagyobb kvantálással), elegendő sávszélesség a memória-éhező figyelmi rétegek elkerüléséhez, és elegendő számítási teljesítmény a transzformerek tréningjéhez olyan kötegméretekkel, amelyek telítik a modern optimalizálókat.

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.

121 FP16 TFLOPS és 300 GB/s memória-sávszélesség NVIDIA L4-t egyértelműen a modern transzformer munkaterhelésekre célzott gyorsítók közé sorolja. Az FP32 csúcsa 30.3 TFLOPS, ami még mindig kényelmesen kezeli a legtöbb nem MI tudományos számítást.

Kezdeti tanításnál a token áteresztőképesség nagyjából követi az FP16 TFLOPS-t. Az alapmodelleken végzett termelési inferenciánál az áteresztőképesség a sávszélességet követi. A valós adatok erősen függenek a keretrendszertől (PyTorch, TensorRT-LLM, vLLM), és 30-50%-kal változhatnak a kvantálás mértékétől függően.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Ha NVIDIA L4 kapacitást keres, íme a térkép: RunPod. A 1 követett szolgáltató között a legolcsóbb on-demand szolgáltató a RunPod $0.39 óránként; a legolcsóbb spot szolgáltató a óránként.

A felhasználási esetek határozzák meg a szolgáltató választását. A rövid kísérleti futamok leginkább a másodperc-alapú számlázású szolgáltatóknál illeszkednek. A hosszú képzési futamok a bare-metal szolgáltatóknál foglalt kapacitásból profitálnak. A termelési inferencia szolgáltatások a globális regionális jelenléttel és vállalati SLA-kkal rendelkező szolgáltatókat részesítik előnyben.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 leginkább olyan munkaterhelésekhez ideális, ahol a 24 GB VRAM és a Ada Lovelace tensor magok jól illeszkednek: Inference, video transcoding, lightweight AI workloads.

Ha a munkaterhelése jelentősen több memóriát igényel (például határvonal-szintű modellek tanítása a nulláról), akkor NVIDIA L4 túl kicsi, és inkább egy H100/H200/B200 osztályú kártyára lenne szüksége. Ha kevesebbre van szüksége (például kis léptékű kiszolgálás 7 milliárd paraméteres modelleken), akkor olcsóbb kártyák, mint az L4 vagy az RTX 4090, költséghatékonyabbak lehetnek. A középső sávban általában NVIDIA L4 a legértelmesebb választás.

Rent NVIDIA L4 on RunPod from $0.39/hr — check live availability and deploy.