Быстрее ли NVIDIA GeForce RTX 3070 Ti A100 для дообучения?

Ответ

Пиковая вычислительная мощность NVIDIA GeForce RTX 3070 Ti достигает 21.7 FP16 TFLOPS и 10.8 FP32 TFLOPS, с пропускной способностью памяти 608 ГБ/с, питающей вычислительные блоки. Архитектура Ampere включает тензорные ядра, оптимизированные для смешанной точности BF16/FP16 / FP8 — форматов, наиболее важных для современных трансформеров.

Реальная пропускная способность при обучении моделей масштабируется близко к теоретическим пикам при больших размерах пакетов; меньшие пакеты ограничены пропускной способностью памяти. Для инференса с низкой задержкой количество токенов в секунду на трансформерах, таких как Llama 70B, сильно зависит от стратегии квантизации — FP8/INT8 раскрывают потолок вычислительной мощности, FP16 ограничен пропускной способностью.

Review full specs and related comparisons on the NVIDIA GeForce RTX 3070 Ti page.