¿Qué tan rápido es NVIDIA GeForce RTX 3070 para ML?

Respuesta

NVIDIA GeForce RTX 3070 alcanza 20.3 TFLOPS de cómputo FP16 con 448 GB/s de ancho de banda de memoria y 8 GB de VRAM. FP32 alcanza un máximo de 10.2 TFLOPS.

Esas cifras colocan a NVIDIA GeForce RTX 3070 en una banda de rendimiento útil para trabajos de IA generativa: lo suficientemente fuerte para preentrenar modelos medianos a grandes en un tiempo razonable, con suficiente ancho de banda para mantener baja la latencia de servicio en tiempo real. Los tokens por segundo o imágenes por segundo reales varían hasta 2x dependiendo del framework, la cuantización y el tamaño del modelo — siempre realice pruebas con la pila exacta que planea usar.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.