MLにおけるNVIDIA GeForce RTX 3070の速度はどのくらいですか？

回答

NVIDIA GeForce RTX 3070 は 20.3 TFLOPSのFP16演算性能を持ち、448 GB/sのメモリ帯域幅と8 GBのVRAMを備えています。FP32のピークは 10.2 TFLOPSです。

これらの数値は、NVIDIA GeForce RTX 3070 を生成AI作業に適した性能帯に位置づけます：中〜大規模モデルの事前学習を合理的な時間で行うのに十分な性能と、リアルタイムサービングのレイテンシを低く保つのに十分な帯域幅を備えています。実際のトークン毎秒や画像毎秒はフレームワーク、量子化、モデルサイズによって2倍程度変動するため、必ず実際に使用するスタックでベンチマークしてください。

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.