Sewa NVIDIA L4 di Awan

Kadar NVIDIA L4 awan berharga terbaik yang kami jejak adalah $0.39 sejam pada RunPod. Kadar itu mencerminkan pengebilan atas permintaan; penyedia yang menyokong instans spot/preemptible menurunkan harga ke sejam — penjimatan sekitar up to 60% untuk beban kerja yang boleh menerima gangguan.

Jika anda boleh komited kepada kapasiti terpelihara, jangkaan diskaun tambahan up to 40%. Untuk eksperimen ad-hoc kami mengesyorkan atas permintaan; untuk pra-latihan berbilang hari, bajet campuran spot dan atas permintaan. Sebut harga sejam boleh berubah mingguan apabila penyedia bersaing, jadi semak jadual langsung sebelum membuat komitmen jangka panjang.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Dilancarkan pada 2023, NVIDIA L4 adalah pemecut kelas Ada Lovelace dengan 24 GB GDDR6, lebar jalur memori 300 GB/s, dan pengiraan FP16 TFLOPS 121. FP32 mencapai puncak pada 30.3 TFLOPS dan kad menggunakan sehingga 72W.

Dalam istilah praktikal: cukup VRAM untuk memuatkan model dalam julat parameter ~24B dalam FP16 (lebih besar dengan kuantisasi), cukup lebar jalur untuk mengelakkan lapisan perhatian kekurangan memori, dan cukup pengiraan untuk melatih transformer pada saiz kelompok yang memenuhi pengoptimum moden.

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.

121 TFLOPS FP16 dan 300 GB/s lebar jalur memori meletakkan NVIDIA L4 tepat dalam kelas pemecut yang disasarkan pada beban kerja transformer moden. FP32 mencapai maksimum pada 30.3 TFLOPS, yang masih mengendalikan kebanyakan pengiraan saintifik bukan AI dengan selesa.

Untuk latihan dari awal, hasil token kira-kira mengikuti TFLOPS FP16. Untuk inferens produksi pada model asas, hasil mengikuti lebar jalur. Nombor dunia nyata sangat bergantung pada tumpukan rangka kerja (PyTorch, TensorRT-LLM, vLLM), dan boleh berbeza 30-50% bergantung pada betapa agresifnya anda melakukan kuantisasi.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Jika anda mencari kapasiti NVIDIA L4, ini peta: RunPod. Di antara 1 penyedia yang dikesan, penyedia on-demand kos terendah adalah RunPod pada $0.39 setiap jam; penyedia spot kos terendah adalah pada setiap jam.

Kes penggunaan menentukan pilihan penyedia. Larian eksperimen pendek paling sesuai dengan penyedia yang mengenakan bayaran per saat. Larian latihan panjang mendapat manfaat dari kapasiti terpelihara di vendor bare-metal. Perkhidmatan inferens produksi mengutamakan penyedia dengan kehadiran serantau global dan SLA perusahaan.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 paling sesuai untuk beban kerja di mana 24 GB VRAM dan Ada Lovelace teras tensornya sepadan dengan baik: Inference, video transcoding, lightweight AI workloads.

Jika beban kerja anda memerlukan memori yang jauh lebih banyak (contohnya, latihan model frontier dari awal), NVIDIA L4 adalah terlalu kecil dan anda perlu kad kelas H100/H200/B200. Jika beban kerja anda memerlukan kurang (contohnya, perkhidmatan skala kecil pada model 7B-parameter), kad yang lebih murah seperti L4 atau RTX 4090 mungkin lebih menjimatkan kos. Untuk julat pertengahan, NVIDIA L4 biasanya pilihan yang munasabah.

Rent NVIDIA L4 on RunPod from $0.39/hr — check live availability and deploy.