Quanto è veloce NVIDIA GeForce RTX 3070 per il ML?

Risposta

NVIDIA GeForce RTX 3070 raggiunge 20.3 TFLOPS di calcolo FP16 con 448 GB/s di larghezza di banda della memoria e 8 GB di VRAM. Il picco FP32 è di 10.2 TFLOPS.

Questi valori collocano NVIDIA GeForce RTX 3070 in una fascia di prestazioni utile per il lavoro di AI generativa: abbastanza potente per il pre-addestramento di modelli di medie e grandi dimensioni in tempi ragionevoli, con sufficiente larghezza di banda per mantenere bassa la latenza del serving in tempo reale. Il numero effettivo di token al secondo o immagini al secondo varia di 2 volte a seconda del framework, della quantizzazione e della dimensione del modello — esegua sempre benchmark con lo stack esatto che intende utilizzare.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.