NVIDIA GH200 Superchip è una scheda per data center, professionale o consumer?

Risposta

NVIDIA GH200 Superchip è costruita sull'architettura Hopper e viene fornita con 96 GB di memoria HBM3 a 4,000 GB/s di larghezza di banda. Rilasciata in 2023, la scheda eroga 989 TFLOPS FP16 e 494.5 TFLOPS FP32 con un TDP di 700W.

Per i ricercatori di machine learning, questi numeri si traducono in diversi limiti pratici: il tetto di VRAM detta il peso massimo dei modelli di grandi dimensioni che si possono caricare (e la dimensione massima del batch a una data lunghezza di sequenza), mentre la larghezza di banda della memoria stabilisce il limite superiore per l'inferenza con attenzione intensiva. La velocità di calcolo è più importante per le moltiplicazioni dense di matrici — pre-addestramento, pre-addestramento con batch grandi e diffusione.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.