Prestasi teras tensor NVIDIA A10G

Jawapan

NVIDIA A10G adalah kad Ampere yang menawarkan 70 TFLOPS FP16 dan 35 TFLOPS FP32 bersama dengan 600 GB/s lebar jalur memori. Itu cukup pengiraan untuk mengendalikan latihan model moden dan beban kerja penyajian masa nyata pada skala serius.

Penanda aras menunjukkan NVIDIA A10G berprestasi sangat baik pada model gaya transformer di mana teras tensor disaturkan oleh MatMul besar. Model difusi, ucapan, dan beban kerja visi juga melihat peningkatan kelajuan yang kuat berbanding generasi lama. Untuk penyajian masa nyata yang sensitif latensi, NVIDIA A10G biasanya mencapai kadar token sesaat sasaran pada model bahasa besar jauh melebihi ambang 30-50 tok/s yang disasarkan oleh kebanyakan produk.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.