NVIDIA GeForce GTX 1080 kelajuan latihan untuk model penyebaran

Jawapan

TFLOPS FP16 dan 320 GB/s lebar jalur memori meletakkan NVIDIA GeForce GTX 1080 tepat dalam kelas pemecut yang disasarkan pada beban kerja transformer moden. FP32 mencapai maksimum pada 8.9 TFLOPS, yang masih mengendalikan kebanyakan pengiraan saintifik bukan AI dengan selesa.

Untuk latihan dari awal, hasil token kira-kira mengikuti TFLOPS FP16. Untuk inferens produksi pada model asas, hasil mengikuti lebar jalur. Nombor dunia nyata sangat bergantung pada tumpukan rangka kerja (PyTorch, TensorRT-LLM, vLLM), dan boleh berbeza 30-50% bergantung pada betapa agresifnya anda melakukan kuantisasi.

See the NVIDIA GeForce GTX 1080 page for the full spec sheet and comparisons to related GPUs.