NVIDIA A10G tensor mag teljesítménye

Válasz

NVIDIA A10G egy Ampere kártya, amely 70 FP16 TFLOPS-t és 35 FP32 TFLOPS-t kínál 600 GB/s memória-sávszélesség mellett. Ez elegendő számítási kapacitás a modern modell tanításhoz és valós idejű kiszolgálási munkákhoz komoly méretekben.

Mérőtesztek szerint NVIDIA A10G különösen jól teljesít transzformer-stílusú modelleken, ahol a tenzormagokat nagy MatMul műveletek telítik. A diffúziós modellek, beszéd- és látásmunkaterhelések is jelentős gyorsulást mutatnak a régebbi generációkhoz képest. Késleltetés-érzékeny termelési valós idejű kiszolgálásnál NVIDIA A10G általában jól teljesíti a cél token/másodperc értékeket nagy nyelvi modelleken, meghaladva a legtöbb termék által kitűzött 30-50 tok/s küszöböt.

The NVIDIA A10G page has the complete datasheet and side-by-side comparisons.