NVIDIA GeForce RTX 3080 Ti adatközponti, professzionális vagy fogyasztói kártya?

Válasz

NVIDIA GeForce RTX 3080 Ti az Ampere architektúrán alapul, és 12 GB GDDR6X memóriával rendelkezik 912 GB/s sávszélességgel. 2021 jelent meg, a kártya 34.1 FP16 TFLOPS és 17 FP32 TFLOPS teljesítményt nyújt 350W TDP mellett.

A gépi tanulás kutatói számára ezek a számok több gyakorlati korlátot jelentenek: a VRAM felső határa határozza meg a legnagyobb betölthető nagy nyelvi modell súlyokat (és a maximális kötegméretet adott szekvenciahossznál), míg a memória sávszélesség a figyelem-igényes inferencia felső határát állítja be. A számítási áteresztőképesség leginkább a sűrű mátrixszorzásoknál számít — előtréning, nagy kötegű előtréning és diffúzió.

Check the NVIDIA GeForce RTX 3080 Ti page for complete specifications and related GPU matchups.