NVIDIA GH200 Superchip é uma placa para data center, profissional ou consumidor?

Resposta

NVIDIA GH200 Superchip é construída na arquitetura Hopper e vem com 96 GB de memória HBM3 com largura de banda de 4,000 GB/s. Lançada em 2023, a placa entrega 989 TFLOPS FP16 e 494.5 TFLOPS FP32 com um TDP de 700W.

Para pesquisadores de aprendizado de máquina, esses números se traduzem em vários limites práticos: o teto de VRAM dita os maiores pesos de modelos de linguagem grande que você pode carregar (e o tamanho máximo do lote para um dado comprimento de sequência), enquanto a largura de banda da memória define o limite superior para inferência com muita atenção. A taxa de transferência de computação é mais importante para multiplicações densas de matrizes — pré-treinamento, pré-treinamento em lotes grandes e difusão.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.