NVIDIA A10G tensor çekirdek performansı

Cevap

NVIDIA A10G bir Ampere kartıdır ve 70 FP16 TFLOPS ve 35 FP32 TFLOPS ile birlikte 600 GB/s bellek bant genişliği sunar. Bu, modern model eğitimi ve gerçek zamanlı servis iş yüklerini ciddi ölçekte karşılayacak kadar hesaplama gücüdür.

Kıyaslamalar, NVIDIA A10G'un tensör çekirdeklerinin büyük MatMul işlemleriyle doyduğu dönüştürücü tarzı modellerde özellikle iyi performans gösterdiğini ortaya koyar. Difüzyon modelleri, konuşma ve görsel iş yükleri de eski nesillere kıyasla güçlü hızlanmalar görür. Gecikmeye duyarlı üretim gerçek zamanlı serviste, NVIDIA A10G genellikle büyük dil modellerinde çoğu ürünün hedeflediği 30-50 tok/s eşiklerinin çok üzerinde hedef token/saniye oranlarına ulaşır.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.