NVIDIA GeForce GTX 1080 tanítási sebesség diffúziós modellekhez

Válasz

FP16 TFLOPS és 320 GB/s memória-sávszélesség NVIDIA GeForce GTX 1080-t egyértelműen a modern transzformer munkaterhelésekre célzott gyorsítók közé sorolja. Az FP32 csúcsa 8.9 TFLOPS, ami még mindig kényelmesen kezeli a legtöbb nem MI tudományos számítást.

Kezdeti tanításnál a token áteresztőképesség nagyjából követi az FP16 TFLOPS-t. Az alapmodelleken végzett termelési inferenciánál az áteresztőképesség a sávszélességet követi. A valós adatok erősen függenek a keretrendszertől (PyTorch, TensorRT-LLM, vLLM), és 30-50%-kal változhatnak a kvantálás mértékétől függően.

See the NVIDIA GeForce GTX 1080 page for the full spec sheet and comparisons to related GPUs.