AMD Instinct MI355X carichi di lavoro limitati dalla memoria vs limitati dal calcolo

Risposta

AMD Instinct MI355X offre 1,800 TFLOPS FP16 e 72 TFLOPS FP32, supportati da 8,000 GB/s di larghezza di banda della memoria e 288 GB di VRAM. Nel fine-tuning a precisione mista, questi numeri si traducono tipicamente in una solida produttività su modelli densi fino a diverse decine di miliardi di parametri.

Per l'inferenza a bassa latenza, i token al secondo nel mondo reale su modelli linguistici comuni dipendono più dalla larghezza di banda della memoria che dai FLOPS di picco — il valore 8,000 GB/s è il limite rilevante per la decodifica autoregressiva. Su carichi batch come la generazione di immagini per diffusione, il calcolo torna a essere il fattore dominante.

Con un costo di $2.59 all'ora sul provider cloud economico, il rapporto prestazioni/prezzo è competitivo per carichi di lavoro intensivi di AI.

The cheapest AMD Instinct MI355X cloud access right now is on Vultr at $2.59/hr.