Hiệu năng FP16 đỉnh của NVIDIA GeForce RTX 3070 là bao nhiêu?

Trả lời

Ra mắt vào 2020, NVIDIA GeForce RTX 3070 là một bộ tăng tốc lớp Ampere với 8 GB GDDR6, băng thông bộ nhớ 448 GB/s, và 20.3 TFLOPS tính toán FP16. FP32 đạt đỉnh 10.2 TFLOPS và card tiêu thụ tối đa 220W.

Về mặt thực tế: đủ VRAM để tải các mô hình trong khoảng ~8 tỷ tham số ở FP16 (lớn hơn với lượng tử hóa), đủ băng thông để tránh làm đói các lớp attention bộ nhớ, và đủ tính toán để đào tạo transformer với kích thước lô bão hòa các bộ tối ưu hiện đại.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.