Prestasi teras tensor NVIDIA RTX A4000

Jawapan

NVIDIA RTX A4000 adalah kad Ampere yang menawarkan 19.2 TFLOPS FP16 dan 16 TFLOPS FP32 bersama dengan 448 GB/s lebar jalur memori. Itu cukup pengiraan untuk mengendalikan latihan model moden dan beban kerja penyajian masa nyata pada skala serius.

Penanda aras menunjukkan NVIDIA RTX A4000 berprestasi sangat baik pada model gaya transformer di mana teras tensor disaturkan oleh MatMul besar. Model difusi, ucapan, dan beban kerja visi juga melihat peningkatan kelajuan yang kuat berbanding generasi lama. Untuk penyajian masa nyata yang sensitif latensi, NVIDIA RTX A4000 biasanya mencapai kadar token sesaat sasaran pada model bahasa besar jauh melebihi ambang 30-50 tok/s yang disasarkan oleh kebanyakan produk.

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.