Przepustowość NVIDIA GeForce RTX 4070 podczas wstępnego trenowania — czego można się spodziewać?
Odpowiedź
NVIDIA GeForce RTX 4070 osiąga 29.1 TFLOPS FP16, 14.6 TFLOPS FP32 i zasila je z 12 GB pamięci VRAM przy przepustowości 504 GB/s.
Benchmarki: trening LLM z mieszanymi precyzjami osiąga niemal maksymalne wykorzystanie FLOPS przy rozmiarach wsadów mieszczących się w VRAM; wnioskowanie LLM zwykle mieści się w 5-15% teoretycznego limitu przepustowości przy dekodowaniu autoregresywnym; modele dyfuzji pokazują największy wzrost względem starszych akceleratorów, gdzie szybsze jądra uwagi łączą się z surowymi zyskami obliczeniowymi.
The NVIDIA GeForce RTX 4070 page has the complete datasheet and side-by-side comparisons.