Výkon tensorových jader NVIDIA A10G

Odpověď

NVIDIA A10G je Ampere karta nabízející 70 FP16 TFLOPS a 35 FP32 TFLOPS spolu s 600 GB/s paměťové propustnosti. To je dostatečný výkon pro zvládnutí moderního tréninku modelů a reálného nasazení v reálném čase ve velkém měřítku.

Benchmarky ukazují, že NVIDIA A10G zvláště dobře funguje na modelech typu transformer, kde jsou tensorová jádra saturována velkými MatMul operacemi. Difuzní modely, řečové a vizuální úlohy také vykazují výrazná zrychlení oproti starším generacím. Pro produkční nasazení citlivé na latenci obvykle NVIDIA A10G dosahuje cílových rychlostí tokenů za sekundu na velkých jazykových modelech výrazně nad hranicí 30-50 tok/s, kterou většina produktů cílí.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.