AMD Instinct MI355X cargas de trabajo limitadas por memoria vs limitadas por computación

Respuesta

AMD Instinct MI355X ofrece 1,800 TFLOPS FP16 y 72 TFLOPS FP32, respaldados por 8,000 GB/s de ancho de banda de memoria y 288 GB de VRAM. En ajuste fino de precisión mixta, esos números típicamente se traducen en un rendimiento sólido en modelos densos de hasta varias decenas de miles de millones de parámetros.

Para inferencia de baja latencia, los tokens por segundo en modelos de lenguaje grandes comunes dependen más del ancho de banda de memoria que del pico de FLOPS — la cifra de 8,000 GB/s es el techo relevante para la decodificación autorregresiva. En cargas de trabajo por lotes como la generación de imágenes por difusión, el cómputo vuelve a ser el factor dominante.

Con un costo de $2.59 por hora en el proveedor de nube económico, el rendimiento por dólar es competitivo para cargas de trabajo intensivas en IA.

The cheapest AMD Instinct MI355X cloud access right now is on Vultr at $2.59/hr.