Czy NVIDIA GeForce RTX 3080 jest szybszy niż A100 w fine-tuningu?

Odpowiedź

Surowa moc obliczeniowa NVIDIA GeForce RTX 3080 osiąga szczyt 29.8 TFLOPS FP16 i 14.9 TFLOPS FP32, z przepustowością pamięci 760 GB/s zasilającą jednostki obliczeniowe. Architektura Ampere wprowadza rdzenie tensorowe zoptymalizowane pod mieszane precyzje BF16/FP16 / FP8 — formaty najważniejsze dla nowoczesnych transformatorów.

Rzeczywista przepustowość treningu modeli skaluje się blisko teoretycznych szczytów przy dużych wsadach; mniejsze wsady są ograniczone przepustowością pamięci. Dla niskoopóźnieniowego wnioskowania liczba tokenów na sekundę na transformatorach takich jak Llama 70B zależy w dużym stopniu od strategii kwantyzacji — FP8/INT8 odblokowują limit obliczeniowy, FP16 jest ograniczone przepustowością.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.