Чи є NVIDIA GH200 Superchip карткою для дата-центрів, професійною чи споживчою?

Відповідь

NVIDIA GH200 Superchip побудована на архітектурі Hopper і оснащена 96 ГБ HBM3 пам’яті з пропускною здатністю 4,000 ГБ/с. Випущена в 2023, карта забезпечує 989 TFLOPS FP16 та 494.5 TFLOPS FP32 при TDP 700 Вт.

Для дослідників машинного навчання ці цифри означають кілька практичних обмежень: верхня межа VRAM визначає найбільші ваги великих мовних моделей, які можна завантажити (і максимальний розмір пакета при заданій довжині послідовності), тоді як пропускна здатність пам’яті встановлює верхню межу для інтенсивного інференсу з увагою. Пропускна здатність обчислень найбільше важлива для щільних матричних множень — передтренування, тренування великими пакетами та дифузійні задачі.

See the NVIDIA GH200 Superchip page for the full spec sheet and comparisons to related GPUs.