Charges de travail limitées par la mémoire vs limitées par le calcul de NVIDIA GeForce RTX 4060 Ti

Réponse

Titre de performance NVIDIA GeForce RTX 4060 Ti : 22.1 TFLOPS FP16, 11 TFLOPS FP32, 288 GB/s de bande passante, 16 GB de VRAM.

Converti en benchmarks pratiques : l’entraînement d’un LLM de 7 milliards de paramètres en FP16 avec des tailles de lots raisonnables sature généralement le calcul avant la bande passante ; le service temps réel sur le même modèle est habituellement limité par la bande passante et suit la valeur 288 GB/s. Les benchmarks de génération d’images par diffusion se situent entre les deux — les étapes intensives en calcul utilisent bien les cœurs tensoriels, tandis que les blocs d’attention sollicitent encore la bande passante.

The NVIDIA GeForce RTX 4060 Ti page has the complete datasheet and side-by-side comparisons.