Thuê NVIDIA L4 trên Đám mây

Mức giá thuê đám mây NVIDIA L4 tốt nhất mà chúng tôi theo dõi là $0.39 mỗi giờ trên RunPod. Mức giá này phản ánh thanh toán theo yêu cầu; các nhà cung cấp hỗ trợ các phiên bản spot/preemptible có thể giảm giá xuống còn mỗi giờ — tiết kiệm khoảng up to 60% cho các công việc có thể chịu được gián đoạn.

Nếu bạn có thể cam kết dung lượng dự trữ, hãy kỳ vọng giảm thêm up to 40%. Đối với các thí nghiệm ngẫu hứng, chúng tôi khuyên dùng theo yêu cầu; đối với đào tạo trước nhiều ngày, hãy lên kế hoạch kết hợp giữa spot và theo yêu cầu. Giá hàng giờ có thể thay đổi hàng tuần khi các nhà cung cấp cạnh tranh, vì vậy hãy kiểm tra bảng giá trực tiếp trước khi cam kết chạy lâu dài.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Ra mắt vào 2023, NVIDIA L4 là một bộ tăng tốc lớp Ada Lovelace với 24 GB GDDR6, băng thông bộ nhớ 300 GB/s, và 121 TFLOPS tính toán FP16. FP32 đạt đỉnh 30.3 TFLOPS và card tiêu thụ tối đa 72W.

Về mặt thực tế: đủ VRAM để tải các mô hình trong khoảng ~24 tỷ tham số ở FP16 (lớn hơn với lượng tử hóa), đủ băng thông để tránh làm đói các lớp attention bộ nhớ, và đủ tính toán để đào tạo transformer với kích thước lô bão hòa các bộ tối ưu hiện đại.

Get NVIDIA L4 on RunPod starting at $0.39/hr — live pricing and fast provisioning.

121 TFLOPS FP16 và 300 GB/s băng thông bộ nhớ đặt NVIDIA L4 vào đúng lớp bộ tăng tốc nhắm tới các khối lượng công việc transformer hiện đại. FP32 đạt đỉnh ở 30.3 TFLOPS, vẫn xử lý thoải mái hầu hết các tính toán khoa học không AI.

Đối với huấn luyện từ đầu, thông lượng token gần như theo sát TFLOPS FP16. Đối với suy luận sản xuất trên các mô hình nền tảng, thông lượng theo sát băng thông. Các con số thực tế sẽ phụ thuộc nhiều vào bộ công cụ framework (PyTorch, TensorRT-LLM, vLLM), và có thể thay đổi 30-50% tùy thuộc vào mức độ lượng hóa bạn áp dụng.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

Nếu bạn đang tìm kiếm dung lượng NVIDIA L4, đây là bản đồ: RunPod. Trong số 1 nhà cung cấp được theo dõi, nhà cung cấp on-demand có chi phí thấp nhất là RunPod với giá $0.39 mỗi giờ; nhà cung cấp spot có chi phí thấp nhất là với giá mỗi giờ.

Các trường hợp sử dụng quyết định lựa chọn nhà cung cấp. Các phiên thử nghiệm ngắn phù hợp nhất với nhà cung cấp tính phí theo giây. Các phiên đào tạo dài hưởng lợi từ dung lượng dự trữ tại các nhà cung cấp bare-metal. Dịch vụ suy luận sản xuất ưu tiên các nhà cung cấp có mặt toàn cầu và SLA doanh nghiệp.

The cheapest NVIDIA L4 cloud access right now is on RunPod at $0.39/hr.

NVIDIA L4 phù hợp nhất cho các khối lượng công việc mà 24 GB VRAM và Ada Lovelace tensor cores của nó được phối hợp tốt: Inference, video transcoding, lightweight AI workloads.

Nếu khối lượng công việc của bạn cần nhiều bộ nhớ hơn đáng kể (ví dụ, huấn luyện các mô hình tiên tiến từ đầu), NVIDIA L4 sẽ không đủ và bạn nên chọn card lớp H100/H200/B200. Nếu khối lượng công việc cần ít hơn (ví dụ, phục vụ quy mô nhỏ trên các mô hình 7 tỷ tham số), các card rẻ hơn như L4 hoặc RTX 4090 có thể tiết kiệm chi phí hơn. Đối với phân khúc trung bình, NVIDIA L4 thường là lựa chọn hợp lý.

Rent NVIDIA L4 on RunPod from $0.39/hr — check live availability and deploy.