Seberapa pantas NVIDIA GeForce RTX 3070 untuk ML?
Jawapan
NVIDIA GeForce RTX 3070 mencapai 20.3 TFLOPS pengiraan FP16 dengan 448 GB/s lebar jalur memori dan 8 GB VRAM. FP32 mencapai puncak pada 10.2 TFLOPS.
Nombor-nombor tersebut meletakkan NVIDIA GeForce RTX 3070 dalam julat prestasi yang berguna untuk kerja AI generatif: cukup kuat untuk pra-latihan model sederhana hingga besar dalam masa yang munasabah, dengan lebar jalur yang mencukupi untuk mengekalkan latensi penyajian masa nyata rendah. Token sesaat atau imej sesaat sebenar berubah 2x bergantung pada rangka kerja, kuantisasi, dan saiz model — sentiasa lakukan penanda aras dengan tumpukan tepat yang anda rancangkan untuk dihantar.
The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.