拡散モデルのNVIDIA GeForce GTX 1080トレーニング速度

回答

FP16 TFLOPS と 320 GB/s のメモリ帯域幅により、NVIDIA GeForce GTX 1080 は現代のトランスフォーマーワークロード向けアクセラレータのクラスに位置づけられます。FP32は 8.9 TFLOPS で上限となり、ほとんどの非AI科学計算を快適に処理します。

スクラッチからのトレーニングでは、トークンスループットはFP16 TFLOPSにほぼ比例します。基盤モデルの本番推論ではスループットは帯域幅に比例します。実際の数値はフレームワークスタック（PyTorch、TensorRT-LLM、vLLM）に大きく依存し、量子化の度合いによって30〜50%変動します。

See the NVIDIA GeForce GTX 1080 page for the full spec sheet and comparisons to related GPUs.