Tensor-Core-Leistung von NVIDIA A10G

Antwort

NVIDIA A10G ist eine Ampere Karte, die 70 FP16 TFLOPS und 35 FP32 TFLOPS zusammen mit 600 GB/s Speicherbandbreite bietet. Das ist genug Rechenleistung, um modernes Modelltraining und Echtzeit-Serving-Arbeitslasten in großem Maßstab zu bewältigen.

Benchmarks zeigen, dass NVIDIA A10G besonders gut bei Transformer-Modellen abschneidet, bei denen Tensor-Kerne durch große MatMuls ausgelastet werden. Diffusionsmodelle, Sprach- und Bildverarbeitungs-Workloads profitieren ebenfalls von starken Geschwindigkeitssteigerungen gegenüber älteren Generationen. Für latenzsensitives Echtzeit-Serving erreicht NVIDIA A10G üblicherweise Token-pro-Sekunde-Raten bei großen Sprachmodellen deutlich über der 30-50 tok/s Schwelle, die die meisten Produkte anstreben.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.