Продуктивність переднавчання NVIDIA GeForce RTX 4070 — чого очікувати?

Відповідь

NVIDIA GeForce RTX 4070 видає 29.1 TFLOPS FP16, 14.6 TFLOPS FP32 і живиться від 12 ГБ VRAM при 504 ГБ/с.

Бенчмарки: навчання LLM зі змішаною точністю досягає близького до пікового використання FLOPS при розмірах пакетів, що вміщуються у VRAM; висновок LLM зазвичай знаходиться в межах 5-15% від теоретичної межі, обмеженої пропускною здатністю, при автогресивному декодуванні; моделі дифузії демонструють найбільший приріст порівняно зі старішими прискорювачами, де швидші ядра уваги сумуються з чистими обчислювальними виграшами.

The NVIDIA GeForce RTX 4070 page has the complete datasheet and side-by-side comparisons.