Închiriază NVIDIA L40 în Cloud
Nu există încă date de preț disponibile pentru acest model GPU. Reveniti curând.
Specificații Tehnice NVIDIA L40
Cel mai potrivit pentru
Întrebări Frecvente
Este lățimea de bandă a memoriei NVIDIA L40 suficientă pentru inferența în producție a modelelor LLM?
Versiunea scurtă a fișei tehnice NVIDIA L40: 48 GB GDDR6, 864 GB/s, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300W.
Versiunea lungă: placa este optimizată pentru multiplicarea matricelor în precizie mixtă pe tensori mari, exact ceea ce cer antrenamentul și inferența de producție a transformatoarelor. Lățimea de bandă este suficient de generoasă pentru a evita blocajele în operațiunile de atenție, iar capacitatea VRAM acoperă dimensiunile moderne ale modelelor fără a necesita descărcare pe memoria CPU.
Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.
Sarcini limitate de memorie vs sarcini limitate de calcul pentru NVIDIA L40
Titlul performanței NVIDIA L40: 181 TFLOPS FP16, 90.5 TFLOPS FP32, 864 GB/s lățime de bandă, 48 GB VRAM.
Convertit în benchmark-uri practice: antrenarea unui LLM de 7 miliarde de parametri în FP16 cu dimensiuni rezonabile de lot tipic saturează calculul înaintea lățimii de bandă; servirea în timp real pe același model este de obicei limitată de bandă și urmează cifra 864 GB/s. Benchmark-urile de generare a imaginilor prin difuzie se situează între cele două — pașii care consumă mult calcul utilizează bine nucleele tensor, în timp ce blocurile de atenție ating încă lățimea de bandă.
Check the NVIDIA L40 page for complete specifications and related GPU matchups.
Alternative NVIDIA L40 — ce altceva ar trebui să iau în considerare?
NVIDIA L40 este cel mai potrivit pentru sarcini unde 48 GB VRAM și Ada Lovelace nuclee tensoriale sunt bine echilibrate: Inference, video processing, rendering.
Dacă sarcina dumneavoastră necesită mult mai multă memorie (de exemplu, antrenarea modelelor frontieră de la zero), NVIDIA L40 este subdimensionat și ar trebui să optați pentru un card din clasa H100/H200/B200. Dacă sarcina necesită mai puțin (de exemplu, servire la scară mică pe modele de 7 miliarde de parametri), carduri mai ieftine precum L4 sau RTX 4090 pot fi mai eficiente din punct de vedere al costurilor. Pentru segmentul mediu, NVIDIA L40 este de obicei alegerea rezonabilă.
Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.
Compară cu alte GPU-uri
Vezi cum se compară NVIDIA L40 cu alte GPU-uri populare din cloud în ceea ce privește specificațiile, prețurile și disponibilitatea.