Hiệu năng FP16 đỉnh của NVIDIA RTX A5000 là bao nhiêu?

Trả lời

Ra mắt vào 2021, NVIDIA RTX A5000 là một bộ tăng tốc lớp Ampere với 24 GB GDDR6, băng thông bộ nhớ 768 GB/s, và 32.8 TFLOPS tính toán FP16. FP32 đạt đỉnh 27.8 TFLOPS và card tiêu thụ tối đa 230W.

Về mặt thực tế: đủ VRAM để tải các mô hình trong khoảng ~24 tỷ tham số ở FP16 (lớn hơn với lượng tử hóa), đủ băng thông để tránh làm đói các lớp attention bộ nhớ, và đủ tính toán để đào tạo transformer với kích thước lô bão hòa các bộ tối ưu hiện đại.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.