Pagganap ng tensor core ng NVIDIA A10G

Sagot

Ang NVIDIA A10G ay isang Ampere card na nag-aalok ng 70 FP16 TFLOPS at 35 FP32 TFLOPS kasabay ng 600 GB/s ng memory bandwidth. Sapat na ito na compute upang hawakan ang modernong model training at real-time serving workloads sa seryosong scale.

Ipinapakita ng mga benchmark na ang NVIDIA A10G ay partikular na mahusay sa mga transformer-style models kung saan ang tensor cores ay nasisiyahan sa malalaking MatMuls. Ang diffusion models, speech, at vision workloads ay nakakita rin ng malalakas na bilis kumpara sa mga lumang henerasyon. Para sa latency-sensitive production real-time serving, karaniwang naaabot ng NVIDIA A10G ang target token-per-second rates sa malalaking language models nang higit pa sa 30-50 tok/s na threshold na pinapangarap ng karamihan ng mga produkto.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.