Jaka jest maksymalna wydajność FP16 NVIDIA GeForce RTX 3070?

Odpowiedź

Wydana w 2020, NVIDIA GeForce RTX 3070 to akcelerator klasy Ampere z 8 GB pamięci GDDR6, przepustowością pamięci 448 GB/s oraz mocą obliczeniową FP16 20.3 TFLOPS. FP32 osiąga szczyt 10.2 TFLOPS, a karta pobiera do 220W.

W praktyce: wystarczająca ilość VRAM, aby załadować modele w zakresie około ~8 miliardów parametrów w FP16 (więcej po kwantyzacji), wystarczająca przepustowość, aby uniknąć niedoboru pamięci w warstwach uwagi, oraz wystarczająca moc obliczeniowa do treningu transformerów przy rozmiarach partii saturujących nowoczesne optymalizatory.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.