Jak rychlý je NVIDIA GeForce RTX 3070 pro strojové učení?

Odpověď

NVIDIA GeForce RTX 3070 dosahuje 20.3 TFLOPS výpočetního výkonu FP16 s 448 GB/s paměťové propustnosti a 8 GB VRAM. FP32 dosahuje maxima 10.2 TFLOPS.

Tato čísla řadí NVIDIA GeForce RTX 3070 do užitečného výkonového pásma pro generativní AI práci: dostatečně silný pro předtrénování středně až velkých modelů v rozumném čase, s dostatečnou propustností pro udržení nízké latence při reálném nasazení. Skutečný počet tokenů za sekundu nebo obrázků za sekundu se liší až 2x v závislosti na frameworku, kvantizaci a velikosti modelu — vždy benchmarkujte s přesným stackem, který plánujete nasadit.

The NVIDIA GeForce RTX 3070 page has the complete datasheet and side-by-side comparisons.