Adakah NVIDIA GeForce RTX 3080 lebih pantas daripada A100 untuk penalaan halus?

Jawapan

Pengiraan mentah pada NVIDIA GeForce RTX 3080 mencapai puncak pada 29.8 TFLOPS FP16 dan 14.9 TFLOPS FP32, dengan 760 GB/s lebar jalur memori membekalkan unit pengiraan. Seni bina Ampere membawa teras tensor yang dioptimumkan untuk ketepatan campuran BF16/FP16 / FP8 — format yang paling penting untuk transformer moden.

Hasil latihan model dunia nyata berskala hampir ke puncak teori pada saiz kelompok besar; kelompok kecil terikat memori. Untuk inferens berlatensi rendah, token sesaat pada transformer seperti Llama 70B sangat bergantung pada strategi kuantisasi — FP8/INT8 membuka had pengiraan, FP16 terikat lebar jalur.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.