Ano ang peak FP16 performance ng NVIDIA GeForce RTX 3070?

Sagot

Inilabas noong 2020, ang NVIDIA GeForce RTX 3070 ay isang Ampere-class na accelerator na may 8 GB ng GDDR6, 448 GB/s ng memory bandwidth, at 20.3 FP16 TFLOPS ng compute. Ang FP32 ay umaabot sa 10.2 TFLOPS at ang card ay kumukuha ng hanggang 220W.

Sa praktikal na mga termino: sapat na VRAM upang mag-load ng mga modelo sa ~8B-parameter na saklaw sa FP16 (mas malaki kapag may quantisation), sapat na bandwidth upang maiwasan ang memory-starving sa mga attention layers, at sapat na compute upang mag-train ng mga transformer sa batch sizes na nagpapabusog sa mga modernong optimizer.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.