Las mejores GPUs en la nube para inferencia y servicio de modelos

Lo que realmente exige la inferencia de una GPU alquilada

La inferencia es la fase de servicio en la vida de un modelo: los pesos ya están entrenados, y pagas por el cómputo cada vez que un usuario envía un prompt, una imagen o una solicitud. Eso cambia completamente las matemáticas del hardware en comparación con el entrenamiento. El entrenamiento está limitado por el rendimiento y se ejecuta durante horas o días en clústeres densos; la inferencia es sensible a la latencia, es intermitente y se ejecuta indefinidamente. Cuando alquilas una GPU para servir un modelo, optimizas el costo por token o costo por solicitud con un tiempo de respuesta aceptable, no los FLOPs brutos en un trabajo largo.

La restricción más importante suele ser la capacidad de memoria, no el cómputo. Un modelo debe caber en la VRAM junto con su caché de clave-valor (KV), que crece con el tamaño del lote y la longitud del contexto. Para los grandes modelos de lenguaje, esta es la presión dominante: un modelo servido en 16 bits necesita aproximadamente dos bytes por parámetro solo para los pesos, por lo que un modelo de tamaño medio puede funcionar cómodamente en una sola tarjeta de gama media, mientras que un modelo a escala frontera puede requerir múltiples GPUs conectadas entre sí. La comparación anterior te permite filtrar por VRAM precisamente para que puedas emparejar una tarjeta con el modelo más grande que planeas servir más espacio para solicitudes concurrentes.

Las especificaciones que afectan el costo y la latencia de la inferencia

• La capacidad de VRAM determina si el modelo y su caché KV caben en una sola GPU o deben dividirse. Derramar a una segunda GPU o a la memoria del host añade latencia y complejidad.
• El ancho de banda de memoria es el verdadero cuello de botella para la generación de tokens. La decodificación autorregresiva lee todo el conjunto de pesos para cada token producido, por lo que la memoria de alta velocidad (clase HBM) genera tokens más rápido que la memoria clase GDDR en el mismo nivel de cómputo.
• El soporte para baja precisión es enormemente importante. Las tarjetas con rutas tensoriales FP8 o INT8 permiten cuantizar modelos para servir más solicitudes por dólar con poca pérdida de calidad. La cuantización a 8 bits o 4 bits también reduce la huella de memoria, a menudo permitiendo que un modelo quepa en una tarjeta más económica.
• La interconexión (NVLink versus PCIe) solo importa cuando un modelo abarca múltiples GPUs. Para el servicio con una sola GPU es irrelevante; para el servicio tensor-paralelo de modelos muy grandes afecta directamente la latencia del token.

Inferencia por lotes (offline) versus en tiempo real

Dos patrones de servicio muy diferentes se esconden bajo la palabra “inferencia”, y requieren diferentes alquileres.

La inferencia en tiempo real sirve a usuarios en vivo: un chatbot, un endpoint API, un generador de imágenes detrás de una aplicación web. Aquí la latencia máxima es la que manda, las GPUs a menudo están parcialmente inactivas esperando tráfico, y no puedes tolerar que una instancia sea retirada a mitad de una solicitud. Este patrón favorece la capacidad bajo demanda, siempre disponible, y una tarjeta con un fuerte ancho de banda de memoria para que la latencia por solicitud se mantenga baja incluso con tamaños de lote pequeños.

La inferencia por lotes o offline procesa un gran acumulado: evaluar un conjunto de datos, generar embeddings para un corpus, subtitular un millón de imágenes. No hay usuarios en vivo, por lo que la latencia por ítem casi no importa y puedes agrupar lotes grandes para saturar la GPU. Este patrón es el candidato ideal para capacidad interrumpible o spot, porque si una instancia es recuperada simplemente reanudas la cola. Cuando leas la lista anterior, decide primero en cuál de estos dos patrones estás, porque eso cambia qué modelo de facturación y nivel de disponibilidad es racional.

Por qué el rendimiento y la utilización superan a los FLOPs pico

Una tarjeta que parece el doble de poderosa en papel rara vez reduce a la mitad tu factura de inferencia. La decodificación está limitada por la memoria, por lo que el pico de cómputo anunciado de una GPU a menudo está subutilizado durante la generación. Lo que realmente pagas es tokens efectivos por segundo por dólar bajo tus tamaños reales de lote y longitudes de contexto. Las pilas modernas de servicio recuperan mucha capacidad desperdiciada mediante agrupación continua, cachés KV paginados y cuantización. La conclusión práctica al alquilar: una GPU de gama media ejecutando un servidor optimizado puede superar a una tarjeta insignia ejecutando uno no optimizado, y una tarjeta más pequeña y económica que aún soporte tu modelo es frecuentemente la ganadora en costo para tráfico constante.

Características del proveedor que importan específicamente para el servicio

La inferencia se ejecuta continuamente, por lo que las características de la plataforma que la rodean pesan más que en un trabajo de entrenamiento único. Al comparar las opciones anteriores, revisa estas dimensiones:

• Granularidad de facturación: la facturación por segundo o por minuto premia el servicio intermitente y escalable a cero; la facturación horaria gruesa castiga los endpoints que están inactivos entre picos de tráfico.
• Velocidad de inicio en frío y aprovisionamiento: si escalas réplicas hacia arriba y hacia abajo con la demanda, qué tan rápido una nueva instancia de GPU está lista afecta directamente la latencia que ve el usuario y tu capacidad de autoescalado.
• Almacenamiento persistente y caché de imágenes: descargar pesos grandes del modelo en cada inicio es lento y a veces medido. Las imágenes en caché o volúmenes adjuntos que contienen los pesos reducen drásticamente los inicios en frío.
• Tarifas de egreso: el servicio envía resultados a los usuarios continuamente. El egreso por gigabyte que es invisible para el entrenamiento puede convertirse en un gasto real para APIs de alto volumen.
• Confiabilidad bajo demanda versus precios spot: los endpoints en tiempo real generalmente necesitan capacidad garantizada bajo demanda; los trabajos por lotes pueden buscar instancias interrumpibles más baratas.
• Opciones de autoescalado y serverless: escalar a cero importa cuando el tráfico es irregular, para que no pagues por una GPU inactiva durante la noche.

Cómo leer la comparación anterior para inferencia

Trabaja en este orden. Primero, identifica el modelo más grande que debes servir y confirma que una tarjeta tenga suficiente VRAM para los pesos más la caché KV en la concurrencia esperada. Segundo, prefiere alto ancho de banda de memoria y soporte para baja precisión (FP8/INT8) para maximizar tokens por segundo por dólar. Tercero, ajusta el modelo de facturación y disponibilidad a tu patrón: bajo demanda con facturación fina para endpoints en vivo, capacidad interrumpible para trabajo por lotes offline. Usa la tabla en vivo para tarifas actuales, ya que el precio por hora cambia con la demanda y la escasez y varía según el proveedor; la regla duradera es que la tarjeta más barata que quepa cómodamente tu modelo y tráfico casi siempre gana, no la más poderosa disponible.

Preguntas frecuentes

¿Cuánta memoria GPU necesito para servir un modelo para inferencia?

Planea para los pesos del modelo más la caché de clave-valor. En 16 bits, los pesos necesitan aproximadamente dos bytes por parámetro, y cuantizar a 8 bits o 4 bits reduce eso sustancialmente. Luego añade espacio para la caché KV, que crece con el tamaño del lote y la longitud del contexto. Filtra la lista anterior por VRAM y elige una tarjeta que quepa el modelo con espacio de sobra para que la concurrencia no te saque de memoria.

¿Es suficiente una GPU más barata para inferencia o necesito una tarjeta insignia?

Para muchas cargas de trabajo de servicio, una tarjeta de gama media es mejor valor. La generación de tokens está limitada por el ancho de banda de memoria más que por el pico de cómputo, por lo que los FLOPs de una tarjeta insignia a menudo están subutilizados. Si tu modelo cabe en la VRAM de una tarjeta más pequeña y una pila de servicio optimizada mantiene la GPU ocupada, usualmente obtienes mejor costo por token que alquilar la opción más cara.

¿Debo usar instancias spot o interrumpibles para inferencia?

Depende del patrón. La inferencia por lotes offline tolera bien las interrupciones, ya que puedes reanudar una cola, haciendo atractiva la capacidad spot más barata. Los endpoints en tiempo real y orientados al usuario generalmente necesitan capacidad garantizada bajo demanda, porque que una instancia sea recuperada a mitad de una solicitud causa fallos y rompe las garantías de latencia.

¿Qué hace que la facturación de inferencia sea diferente de la facturación de entrenamiento?

El entrenamiento es un trabajo finito y limitado por el rendimiento, mientras que la inferencia se ejecuta continuamente y a menudo está inactiva entre picos de tráfico. Eso hace que la facturación por segundo, el aprovisionamiento rápido, escalar a cero y costos de egreso predecibles sean mucho más importantes para el servicio que para una ejecución de entrenamiento única. Considera esas características de la plataforma en la comparación anterior junto con la tarifa bruta por hora de la GPU.