Desempenho real de IA generativa NVIDIA GeForce RTX 4060

Resposta

Quão rápido é NVIDIA GeForce RTX 4060? Os números brutos: 15.1 TFLOPS FP16, 7.6 TFLOPS FP32, 272 GB/s de largura de banda de memória. Em trabalhos de IA com precisão mista, isso se traduz em throughput sustentado confortavelmente acima das gerações anteriores.

Para treinamento de modelos, espere tempos de relógio que escalam previsivelmente a partir desses números de TFLOPS em grandes tamanhos de lote. Para inferência de baixa latência, a latência real é dominada pela largura de banda da memória e por quanto do seu cache KV cabe no chip — então os números 272 GB/s e 8 GB de capacidade importam mais que os TFLOPS de destaque.

See the NVIDIA GeForce RTX 4060 page for the full spec sheet and comparisons to related GPUs.