NVIDIA GeForce RTX 3080 có nhanh hơn A100 cho tinh chỉnh không?

Trả lời

Tính toán thô trên NVIDIA GeForce RTX 3080 đạt đỉnh ở 29.8 TFLOPS FP16 và 14.9 TFLOPS FP32, với 760 GB/s băng thông bộ nhớ cung cấp cho các đơn vị tính toán. Kiến trúc Ampere mang lại các tensor core tối ưu cho độ chính xác hỗn hợp BF16/FP16 / FP8 — các định dạng quan trọng nhất cho các transformer hiện đại.

Thông lượng huấn luyện mô hình thực tế gần đạt đỉnh lý thuyết ở kích thước lô lớn; các lô nhỏ hơn bị giới hạn bởi bộ nhớ. Đối với suy luận độ trễ thấp, số token trên giây trên các transformer như Llama 70B phụ thuộc nhiều vào chiến lược lượng hóa — FP8/INT8 mở khóa giới hạn tính toán, FP16 bị giới hạn bởi băng thông.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.