NVIDIA GeForce RTX 3070 的峰值 FP16 性能是多少?
答案
2020 发布的 NVIDIA GeForce RTX 3070 是一款 Ampere 级加速器,配备 8 GB 的 GDDR6,内存带宽为 448 GB/s,FP16 计算性能为 20.3 TFLOPS。FP32 峰值为 10.2 TFLOPS,最大功耗为 220W。
实际应用中:显存足够加载约 8B 参数范围的模型(量化后更大),带宽足以避免注意力层的内存饥饿,计算性能足以在现代优化器饱和的批量大小下训练变换器。
See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.