Jakou paměť používá NVIDIA GeForce RTX 4070 (HBM, GDDR)?

Odpověď

NVIDIA GeForce RTX 4070 obsahuje 12 GB GDDR6X s 504 GB/s propustností, poskytuje 29.1 TFLOPS výpočetního výkonu FP16 a pracuje při 200W. Je založena na architektuře Ada Lovelace, která byla představena v 2023.

Pro většinu případů použití AI to znamená tři věci: 1) jak velký model lze načíst; 2) jak rychle běží pozornost (omezená propustností); 3) jak rychle běží operace náročné na maticové násobení (omezené výpočetním výkonem). NVIDIA GeForce RTX 4070 se obvykle nachází v rovnovážném bodě ve všech třech aspektech — proto se často objevuje v cloudových katalozích určených pro týmy ML.

Check the NVIDIA GeForce RTX 4070 page for complete specifications and related GPU matchups.