NVIDIA GeForce RTX 4060 Ti メモリボトルネック vs 計算ボトルネックのワークロード

回答

NVIDIA GeForce RTX 4060 Ti の性能概要：22.1 FP16 TFLOPS、11 FP32 TFLOPS、288 GB/s 帯域幅、16 GB VRAM。

実用的なベンチマークに換算すると、7BパラメータのLLMをFP16で合理的なバッチサイズでトレーニングすると、通常は帯域幅より先に計算性能が飽和します。同じモデルのリアルタイムサービングは通常帯域幅制限で、288 GB/s の数値に追随します。拡散画像生成ベンチマークは両者の中間に位置し、計算負荷の高いステップはテンソルコアをよく活用し、アテンションブロックは帯域幅にアクセスします。

The NVIDIA GeForce RTX 4060 Ti page has the complete datasheet and side-by-side comparisons.