Реальная производительность генеративного ИИ NVIDIA GeForce RTX 4060

Ответ

Насколько быстр NVIDIA GeForce RTX 4060? Сырые показатели: 15.1 TFLOPS FP16, 7.6 TFLOPS FP32, 272 ГБ/с пропускной способности памяти. В задачах ИИ со смешанной точностью это переводится в устойчивую пропускную способность, значительно превосходящую предыдущие поколения.

Для обучения моделей ожидайте времени, пропорционального этим показателям TFLOPS при больших размерах пакетов. Для инференса с низкой задержкой реальная задержка определяется пропускной способностью памяти и тем, сколько вашего кэша KV помещается на чипе — поэтому показатели 272 ГБ/с и ёмкость 8 ГБ важнее, чем заголовочные TFLOPS.

See the NVIDIA GeForce RTX 4060 page for the full spec sheet and comparisons to related GPUs.