Mi NVIDIA RTX A5000 csúcsteljesítménye FP16-ban?

Válasz

NVIDIA RTX A5000 2021 jelent meg, egy Ampere osztályú gyorsító 24 GB GDDR6, 768 GB/s memória sávszélességgel és 32.8 FP16 TFLOPS számítási teljesítménnyel. FP32 csúcsa 27.8 TFLOPS, és a kártya akár 230W-ot is fogyaszthat.

Gyakorlati szempontból: elegendő VRAM a ~24 milliárd paraméteres tartományú modellek betöltéséhez FP16-ban (nagyobb kvantálással), elegendő sávszélesség a memória-éhező figyelmi rétegek elkerüléséhez, és elegendő számítási teljesítmény a transzformerek tréningjéhez olyan kötegméretekkel, amelyek telítik a modern optimalizálókat.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.