Berapa performa puncak FP16 dari NVIDIA RTX A5000?

Jawaban

Dirilis pada 2021, NVIDIA RTX A5000 adalah akselerator kelas Ampere dengan 24 GB GDDR6, bandwidth memori 768 GB/s, dan komputasi FP16 32.8 TFLOPS. Puncak FP32 mencapai 27.8 TFLOPS dan kartu ini menggunakan daya hingga 230W.

Dalam istilah praktis: cukup VRAM untuk memuat model dalam kisaran parameter ~24B dalam FP16 (lebih besar dengan kuantisasi), bandwidth cukup untuk menghindari kelaparan memori pada lapisan perhatian, dan komputasi cukup untuk melatih transformer pada ukuran batch yang memaksimalkan optimiser modern.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.