Thuê NVIDIA GeForce RTX 3080 trên Đám mây

NVIDIA GeForce RTX 3080 tích hợp 10 GB bộ nhớ GDDR6X với băng thông 760 GB/s, cung cấp 29.8 TFLOPS tính toán FP16, và hoạt động ở mức 320W. Nó dựa trên kiến trúc Ampere được giới thiệu vào 2020.

Đối với hầu hết các trường hợp sử dụng AI, điều này quan trọng theo ba cách: 1) kích thước mô hình bạn có thể tải; 2) tốc độ chạy attention (bị giới hạn bởi băng thông); 3) tốc độ chạy các phép toán nặng MatMul (bị giới hạn bởi tính toán). NVIDIA GeForce RTX 3080 thường nằm ở vị trí cân bằng trên cả ba — đó là lý do nó xuất hiện nhiều lần trong các danh mục đám mây dành cho các nhóm ML.

Check the NVIDIA GeForce RTX 3080 page for complete specifications and related GPU matchups.

Tính toán thô trên NVIDIA GeForce RTX 3080 đạt đỉnh ở 29.8 TFLOPS FP16 và 14.9 TFLOPS FP32, với 760 GB/s băng thông bộ nhớ cung cấp cho các đơn vị tính toán. Kiến trúc Ampere mang lại các tensor core tối ưu cho độ chính xác hỗn hợp BF16/FP16 / FP8 — các định dạng quan trọng nhất cho các transformer hiện đại.

Thông lượng huấn luyện mô hình thực tế gần đạt đỉnh lý thuyết ở kích thước lô lớn; các lô nhỏ hơn bị giới hạn bởi bộ nhớ. Đối với suy luận độ trễ thấp, số token trên giây trên các transformer như Llama 70B phụ thuộc nhiều vào chiến lược lượng hóa — FP8/INT8 mở khóa giới hạn tính toán, FP16 bị giới hạn bởi băng thông.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.

NVIDIA GeForce RTX 3080 phù hợp nhất cho các khối lượng công việc mà 10 GB VRAM và Ampere tensor cores của nó được phối hợp tốt: Gaming, inference.

Nếu khối lượng công việc của bạn cần nhiều bộ nhớ hơn đáng kể (ví dụ, huấn luyện các mô hình tiên tiến từ đầu), NVIDIA GeForce RTX 3080 sẽ không đủ và bạn nên chọn card lớp H100/H200/B200. Nếu khối lượng công việc cần ít hơn (ví dụ, phục vụ quy mô nhỏ trên các mô hình 7 tỷ tham số), các card rẻ hơn như L4 hoặc RTX 4090 có thể tiết kiệm chi phí hơn. Đối với phân khúc trung bình, NVIDIA GeForce RTX 3080 thường là lựa chọn hợp lý.

See the NVIDIA GeForce RTX 3080 page for the full spec sheet and comparisons to related GPUs.