Umuupa ng NVIDIA L4 sa Cloud

Ang pinakamurang presyo ng cloud NVIDIA L4 rate na sinusubaybayan namin ay $0.39 kada oras sa RunPod. Ang rate na iyon ay batay sa on-demand billing; ang mga provider na sumusuporta sa spot/preemptible instances ay nagpapababa ng presyo hanggang kada oras — isang pagtitipid na humigit-kumulang up to 60% para sa mga workload na kayang tiisin ang pagkaantala.

Kung kaya mong mag-commit sa reserved capacity, asahan ang karagdagang up to 40% na diskwento. Para sa mga ad-hoc na eksperimento, inirerekomenda namin ang on-demand; para sa multi-day pre-training, mag-budget ng halo ng spot at on-demand. Ang mga hourly quotes ay maaaring magbago linggu-linggo habang nagkakaroon ng kompetisyon ang mga provider, kaya suriin ang live table bago mag-commit sa mahabang takbo.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Inilabas noong 2023, ang NVIDIA L4 ay isang Ada Lovelace-class na accelerator na may 24 GB ng GDDR6, 300 GB/s ng memory bandwidth, at 121 FP16 TFLOPS ng compute. Ang FP32 ay umaabot sa 30.3 TFLOPS at ang card ay kumukuha ng hanggang 72W.

Sa praktikal na mga termino: sapat na VRAM upang mag-load ng mga modelo sa ~24B-parameter na saklaw sa FP16 (mas malaki kapag may quantisation), sapat na bandwidth upang maiwasan ang memory-starving sa mga attention layers, at sapat na compute upang mag-train ng mga transformer sa batch sizes na nagpapabusog sa mga modernong optimizer.

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.

Ang 121 FP16 TFLOPS at 300 GB/s ng memory bandwidth ay inilalagay ang NVIDIA L4 nang tuwiran sa klase ng mga accelerators na tinatarget ang mga modernong transformer workloads. Ang FP32 ay umaabot sa 30.3 TFLOPS, na komportable pa ring humawak ng karamihan sa mga non-AI scientific compute.

Para sa training mula sa simula, ang token throughput ay halos sumusunod sa FP16 TFLOPS. Para sa production inference sa foundation models, ang throughput ay sumusunod sa bandwidth. Ang mga totoong numero ay malaki ang depende sa framework stack (PyTorch, TensorRT-LLM, vLLM), at maaaring mag-iba ng 30-50% depende sa kung gaano ka-agresibo ang iyong quantise.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Kung naghahanap ka ng NVIDIA L4 capacity, narito ang mapa: RunPod. Sa kabuuan ng 1 na sinusubaybayan na mga provider, ang pinakamababang on-demand provider ay ang RunPod sa $0.39 kada oras; ang pinakamababang spot provider ay ang sa kada oras.

Ang mga use case ang nagtutulak sa pagpili ng provider. Ang mga maikling experimentation run ay pinakamainam sa mga provider na nagba-bill per second. Ang mga mahahabang training run ay nakikinabang mula sa reserved capacity sa mga bare-metal vendor. Ang mga production inference service ay pabor sa mga provider na may global regional presence at enterprise SLA.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 ay pinakamahusay para sa mga workload kung saan ang 24 GB VRAM at Ada Lovelace tensor cores nito ay mahusay na tugma: Inference, video transcoding, lightweight AI workloads.

Kung ang iyong workload ay nangangailangan ng mas malaking memorya (halimbawa, training ng frontier-scale models mula sa simula), ang NVIDIA L4 ay kulang at mas mainam ang H100/H200/B200 class na card. Kung mas maliit naman ang kailangan (halimbawa, maliit na scale serving sa 7B-parameter models), mas cost-efficient ang mga mas murang card tulad ng L4 o RTX 4090. Para sa gitnang band, karaniwang ang NVIDIA L4 ang makatwirang pagpili.

Rent NVIDIA L4 on RunPod from $0.39/hr — check live availability and deploy.