Sarcini limitate de memorie vs sarcini limitate de calcul pentru NVIDIA GeForce RTX 4060 Ti

Răspuns

Titlul performanței NVIDIA GeForce RTX 4060 Ti: 22.1 TFLOPS FP16, 11 TFLOPS FP32, 288 GB/s lățime de bandă, 16 GB VRAM.

Convertit în benchmark-uri practice: antrenarea unui LLM de 7 miliarde de parametri în FP16 cu dimensiuni rezonabile de lot tipic saturează calculul înaintea lățimii de bandă; servirea în timp real pe același model este de obicei limitată de bandă și urmează cifra 288 GB/s. Benchmark-urile de generare a imaginilor prin difuzie se situează între cele două — pașii care consumă mult calcul utilizează bine nucleele tensor, în timp ce blocurile de atenție ating încă lățimea de bandă.

The NVIDIA GeForce RTX 4060 Ti page has the complete datasheet and side-by-side comparisons.