Umuupa ng NVIDIA L40 sa Cloud

Maikling bersyon ng NVIDIA L40 spec sheet: 48 GB GDDR6, 864 GB/s, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300W.

Mahabang bersyon: ang card ay na-tune para sa mixed-precision matrix multiplication sa malalaking tensors, na eksaktong kinakailangan ng transformer training at production inference. Ang bandwidth ay sapat upang maiwasan ang pag-stall sa mga attention operations, at ang kapasidad ng VRAM ay sumasaklaw sa mga modernong laki ng modelo nang hindi nangangailangan ng pag-offload sa CPU memory.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Headline ng performance ng NVIDIA L40: 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, 864 GB/s bandwidth, 48 GB VRAM.

Kung iko-convert sa praktikal na benchmarks: ang model training ng 7B-parameter LLM sa FP16 na may makatwirang batch sizes ay karaniwang nagsasaturate ng compute bago ang bandwidth; ang real-time serving sa parehong modelo ay karaniwang bandwidth-bound at sumusunod sa 864 GB/s na numero. Ang diffusion image generation benchmarks ay nasa pagitan ng dalawa — ang compute-heavy steps ay mahusay na nagagamit ang tensor cores, habang ang attention blocks ay patuloy na gumagamit ng bandwidth.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 ay pinakamahusay para sa mga workload kung saan ang 48 GB VRAM at Ada Lovelace tensor cores nito ay mahusay na tugma: Inference, video processing, rendering.

Kung ang iyong workload ay nangangailangan ng mas malaking memorya (halimbawa, training ng frontier-scale models mula sa simula), ang NVIDIA L40 ay kulang at mas mainam ang H100/H200/B200 class na card. Kung mas maliit naman ang kailangan (halimbawa, maliit na scale serving sa 7B-parameter models), mas cost-efficient ang mga mas murang card tulad ng L4 o RTX 4090. Para sa gitnang band, karaniwang ang NVIDIA L40 ang makatwirang pagpili.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.