Thuê NVIDIA L40 trên Đám mây

Phiên bản ngắn của bảng thông số kỹ thuật NVIDIA L40: 48 GB GDDR6, 864 GB/s, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300W.

Phiên bản dài: card được tối ưu cho nhân ma trận độ chính xác hỗn hợp trên các tensor lớn, điều này chính xác là những gì đào tạo và suy luận sản xuất transformer yêu cầu. Băng thông đủ rộng để tránh tắc nghẽn trong các phép toán attention, và dung lượng VRAM đủ cho các kích thước mô hình hiện đại mà không cần chuyển sang bộ nhớ CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Tiêu đề hiệu năng NVIDIA L40: 181 TFLOPS FP16, 90.5 TFLOPS FP32, băng thông 864 GB/s, VRAM 48 GB.

Chuyển đổi thành các điểm chuẩn thực tế: huấn luyện mô hình LLM 7 tỷ tham số ở FP16 với kích thước lô hợp lý thường bão hòa tính toán trước băng thông; phục vụ thời gian thực trên cùng mô hình thường bị giới hạn bởi băng thông và theo sát con số 864 GB/s. Điểm chuẩn tạo ảnh khuếch tán nằm giữa hai mức đó — các bước nặng tính toán tận dụng tốt tensor core, trong khi các khối attention vẫn sử dụng băng thông.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 phù hợp nhất cho các khối lượng công việc mà 48 GB VRAM và Ada Lovelace tensor cores của nó được phối hợp tốt: Inference, video processing, rendering.

Nếu khối lượng công việc của bạn cần nhiều bộ nhớ hơn đáng kể (ví dụ, huấn luyện các mô hình tiên tiến từ đầu), NVIDIA L40 sẽ không đủ và bạn nên chọn card lớp H100/H200/B200. Nếu khối lượng công việc cần ít hơn (ví dụ, phục vụ quy mô nhỏ trên các mô hình 7 tỷ tham số), các card rẻ hơn như L4 hoặc RTX 4090 có thể tiết kiệm chi phí hơn. Đối với phân khúc trung bình, NVIDIA L40 thường là lựa chọn hợp lý.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.