Berapa performa puncak FP16 dari NVIDIA GeForce RTX 3070?

Jawaban

Dirilis pada 2020, NVIDIA GeForce RTX 3070 adalah akselerator kelas Ampere dengan 8 GB GDDR6, bandwidth memori 448 GB/s, dan komputasi FP16 20.3 TFLOPS. Puncak FP32 mencapai 10.2 TFLOPS dan kartu ini menggunakan daya hingga 220W.

Dalam istilah praktis: cukup VRAM untuk memuat model dalam kisaran parameter ~8B dalam FP16 (lebih besar dengan kuantisasi), bandwidth cukup untuk menghindari kelaparan memori pada lapisan perhatian, dan komputasi cukup untuk melatih transformer pada ukuran batch yang memaksimalkan optimiser modern.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.