NVIDIA RTX A5000のピークFP16性能はどれくらいですか？

回答

2021に発売されたNVIDIA RTX A5000は、Ampereクラスのアクセラレータで、24 GBのGDDR6、768 GB/sのメモリ帯域幅、FP16演算性能は32.8 TFLOPSです。FP32のピークは27.8 TFLOPSで、カードは最大230Wを消費します。

実用的には、FP16で約24Bパラメータ範囲のモデルをロードできる十分なVRAM、アテンション層のメモリ不足を防ぐ帯域幅、そして現代の最適化手法を飽和させるバッチサイズでトランスフォーマーをトレーニングできる演算性能を備えています。

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.