NVIDIA RTX A4000のテンソルコア性能

回答

NVIDIA RTX A4000 は Ampere カードで、19.2 FP16 TFLOPS と 16 FP32 TFLOPS、そして 448 GB/s のメモリ帯域幅を提供します。これは現代のモデルトレーニングとリアルタイムサービングワークロードを大規模に処理するのに十分な計算性能です。

ベンチマークでは、NVIDIA RTX A4000 は大規模な行列積でテンソルコアが飽和するトランスフォーマースタイルのモデルで特に優れた性能を示します。拡散モデル、音声、ビジョンワークロードも旧世代に比べて大幅な高速化を実現しています。レイテンシに敏感な本番リアルタイムサービングでは、NVIDIA RTX A4000 は多くの製品が目標とする30〜50トークン/秒の閾値を大幅に上回るトークン毎秒を大規模言語モデルで通常達成します。

The NVIDIA RTX A4000 page has the complete datasheet and side-by-side comparisons.