NVIDIA GeForce GTX 1080 扩散模型的训练速度
答案
FP16 TFLOPS 和 320 GB/s 内存带宽使 NVIDIA GeForce GTX 1080 明确属于面向现代变换器工作负载的加速器类别。FP32 峰值为 8.9 TFLOPS，仍能轻松处理大多数非 AI 科学计算。
从零开始训练时，令牌吞吐量大致与 FP16 TFLOPS 成正比。基础模型的生产推理吞吐量则与带宽相关。实际数字高度依赖框架堆栈（PyTorch、TensorRT-LLM、vLLM），且根据量化程度不同可变化 30-50%。
See the NVIDIA GeForce GTX 1080 page for the full spec sheet and comparisons to related GPUs.