Jak szybki jest NVIDIA GeForce RTX 3070 w ML?
Odpowiedź
NVIDIA GeForce RTX 3070 osiąga 20.3 TFLOPS obliczeń FP16 z 448 GB/s przepustowości pamięci i 8 GB pamięci VRAM. FP32 osiąga szczyt 10.2 TFLOPS.
Te wartości plasują NVIDIA GeForce RTX 3070 w użytecznym zakresie wydajności dla pracy z generatywną AI: wystarczająco silny, by przeprowadzać wstępne treningi średnich i dużych modeli w rozsądnym czasie, z wystarczającą przepustowością, by utrzymać niskie opóźnienia podczas obsługi w czasie rzeczywistym. Rzeczywista liczba tokenów na sekundę lub obrazów na sekundę różni się dwukrotnie w zależności od frameworka, kwantyzacji i rozmiaru modelu — zawsze testuj wydajność z dokładnym stosowanym środowiskiem.
The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.