Sewa NVIDIA L4 di Cloud

Tarif cloud NVIDIA L4 dengan harga terbaik yang kami pantau adalah $0.39 per jam di RunPod. Tarif tersebut mencerminkan penagihan on-demand; penyedia yang mendukung instance spot/preemptible menurunkan harga menjadi per jam — penghematan sekitar up to 60% untuk beban kerja yang dapat mentolerir gangguan.

Jika Anda dapat berkomitmen pada kapasitas yang dipesan, harapkan diskon tambahan up to 40%. Untuk eksperimen ad-hoc kami merekomendasikan on-demand; untuk anggaran pra-pelatihan multi-hari, campuran spot dan on-demand. Kutipan per jam dapat berubah mingguan saat penyedia bersaing, jadi periksa tabel langsung sebelum menjalankan proses jangka panjang.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Dirilis pada 2023, NVIDIA L4 adalah akselerator kelas Ada Lovelace dengan 24 GB GDDR6, bandwidth memori 300 GB/s, dan komputasi FP16 121 TFLOPS. Puncak FP32 mencapai 30.3 TFLOPS dan kartu ini menggunakan daya hingga 72W.

Dalam istilah praktis: cukup VRAM untuk memuat model dalam kisaran parameter ~24B dalam FP16 (lebih besar dengan kuantisasi), bandwidth cukup untuk menghindari kelaparan memori pada lapisan perhatian, dan komputasi cukup untuk melatih transformer pada ukuran batch yang memaksimalkan optimiser modern.

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.

121 TFLOPS FP16 dan 300 GB/s bandwidth memori menempatkan NVIDIA L4 tepat dalam kelas akselerator yang ditargetkan untuk beban kerja transformer modern. FP32 mencapai puncak di 30.3 TFLOPS, yang masih menangani sebagian besar komputasi ilmiah non-AI dengan nyaman.

Untuk pelatihan dari awal, throughput token kira-kira mengikuti TFLOPS FP16. Untuk inferensi produksi pada model dasar, throughput mengikuti bandwidth. Angka dunia nyata sangat bergantung pada tumpukan framework (PyTorch, TensorRT-LLM, vLLM), dan dapat bervariasi 30-50% tergantung seberapa agresif Anda melakukan kuantisasi.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Jika Anda mencari kapasitas NVIDIA L4, ini peta: RunPod. Di antara 1 penyedia yang dilacak, penyedia on-demand dengan biaya terendah adalah RunPod pada $0.39 per jam; penyedia spot dengan biaya terendah adalah pada per jam.

Kasus penggunaan menentukan pilihan penyedia. Percobaan singkat paling cocok pada penyedia yang menagih per detik. Pelatihan panjang mendapat manfaat dari kapasitas terpesan di vendor bare-metal. Layanan inferensi produksi lebih memilih penyedia dengan kehadiran regional global dan SLA perusahaan.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 paling baik untuk beban kerja di mana VRAM 24 GB dan tensor core Ada Lovelace-nya cocok dengan baik: Inference, video transcoding, lightweight AI workloads.

Jika beban kerja Anda membutuhkan memori yang jauh lebih besar (misalnya, pelatihan model frontier dari awal), NVIDIA L4 terlalu kecil dan Anda akan menginginkan kartu kelas H100/H200/B200. Jika beban kerja Anda membutuhkan lebih sedikit (misalnya, penyajian skala kecil pada model 7 miliar parameter), kartu yang lebih murah seperti L4 atau RTX 4090 mungkin lebih efisien secara biaya. Untuk rentang tengah, NVIDIA L4 biasanya pilihan yang masuk akal.

Rent NVIDIA L4 on RunPod from $0.39/hr — check live availability and deploy.