Apakah prestasi puncak FP16 NVIDIA RTX A5000?

Jawapan

Dilancarkan pada 2021, NVIDIA RTX A5000 adalah pemecut kelas Ampere dengan 24 GB GDDR6, lebar jalur memori 768 GB/s, dan pengiraan FP16 TFLOPS 32.8. FP32 mencapai puncak pada 27.8 TFLOPS dan kad menggunakan sehingga 230W.

Dalam istilah praktikal: cukup VRAM untuk memuatkan model dalam julat parameter ~24B dalam FP16 (lebih besar dengan kuantisasi), cukup lebar jalur untuk mengelakkan lapisan perhatian kekurangan memori, dan cukup pengiraan untuk melatih transformer pada saiz kelompok yang memenuhi pengoptimum moden.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.