AMD Instinct MI355X cargas de trabalho limitadas por memória vs limitadas por computação

Resposta

AMD Instinct MI355X entrega 1,800 TFLOPS FP16 e 72 TFLOPS FP32, suportados por 8,000 GB/s de largura de banda de memória e 288 GB de VRAM. Em fine-tuning de precisão mista, esses números geralmente se traduzem em um throughput sólido em modelos densos de até várias dezenas de bilhões de parâmetros.

Para inferência de baixa latência, tokens por segundo no mundo real em modelos de linguagem grandes comuns dependem mais da largura de banda da memória do que do pico de FLOPS — o número 8,000 GB/s é o teto relevante para decodificação autorregressiva. Em cargas de trabalho em lote, como geração de imagens por difusão, o compute volta a ser o fator dominante.

Com preço de $2.59 por hora no provedor de nuvem econômico, o desempenho por dólar é competitivo para cargas de trabalho pesadas em IA.

The cheapest AMD Instinct MI355X cloud access right now is on Vultr at $2.59/hr.