Proveedores de GPU en la Nube con Instancias Spot / Preemptibles

Qué son realmente las instancias de GPU spot y preemptibles

Una instancia de GPU spot o preemptible se renta de la capacidad sobrante de un proveedor con un gran descuento a cambio de una condición crítica: el proveedor puede recuperar la máquina en cualquier momento, generalmente con poco o ningún aviso. El hardware es idéntico a la versión bajo demanda de la misma GPU — la misma VRAM, los mismos núcleos tensoriales, la misma interconexión — pero el contrato sobre su disponibilidad es diferente. Usted está comprando capacidad de cómputo que es barata precisamente porque es interrumpible. Cada proveedor en la lista anterior marcado como que ofrece capacidad spot o preemptible expone este intercambio de alguna forma, aunque los nombres varían: spot, preemptible, interrumpible, comunitaria o instancias de excedente describen la misma idea subyacente.

El descuento existe porque los centros de datos rara vez operan al 100% de utilización. Las GPUs inactivas no generan ingresos, por lo que los proveedores venden ese espacio libre a una fracción de la tarifa estándar y aceptan que pueden necesitar recuperarlo en el momento en que un cliente que paga el precio completo lo requiera, o cuando sus propias necesidades de programación cambien. Para el arrendatario, eso significa que los ahorros principales son reales, pero vienen con obligaciones operativas que no tiene en un nodo garantizado bajo demanda.

Por qué el precio interrumpible importa para cargas de trabajo reales

La razón por la que vale la pena entender la capacidad spot es que el alquiler de GPU es caro, y el descuento en instancias interrumpibles suele ser lo suficientemente grande como para cambiar qué proyectos son económicamente viables. La trampa es que no todas las cargas de trabajo toleran ser terminadas a mitad de ejecución. El factor decisivo casi siempre es qué tan bien su trabajo hace checkpoints y se reanuda.

• Ajuste excelente: ejecuciones largas de entrenamiento y ajuste fino que guardan checkpoints en almacenamiento duradero cada pocos minutos, trabajos grandes de inferencia por lotes o de embeddings, renderizado fuera de línea, barridos de hiperparámetros donde las pruebas individuales son independientes, y cualquier pipeline ya construido alrededor de la tolerancia a fallos.
• Ajuste pobre: inferencia en tiempo real o de baja latencia para una aplicación en vivo, sesiones de desarrollo interactivas donde perder la máquina significa perder trabajo no guardado, y entrenamiento multi-GPU muy sincronizado que no puede recuperarse de manera elegante cuando un nodo desaparece.

El modelo mental es simple: si perder la instancia solo le cuesta los minutos desde su último checkpoint, spot casi siempre es la mejor opción. Si perderla le cuesta una solicitud, un cliente o horas de estado no guardado, la prima del on-demand le compra tranquilidad que vale la pena pagar.

Los compromisos a considerar

La interrupción es el costo obvio, pero no es el único. Cuando compare proveedores en esta dimensión, mantenga en mente el panorama completo:

• Comportamiento de recuperación: algunos proveedores dan un aviso corto de terminación (a menudo un par de minutos) para que su trabajo pueda guardar estado y salir limpiamente; otros pueden retirar la máquina instantáneamente. Un período de gracia es enormemente valioso porque le permite activar un checkpoint final.
• Variación en la disponibilidad: las piscinas spot fluctúan. La GPU exacta que desea al precio que vio puede no estar disponible por períodos, y los aceleradores más demandados son recuperados con más agresividad que las tarjetas más antiguas o menos populares.
• Almacenamiento que sobrevive a la instancia: si sus checkpoints solo viven en el disco local de la instancia, una interrupción los borra. Spot solo funciona de manera segura cuando sus datos y checkpoints están en almacenamiento persistente o en red que sobrevive al nodo.
• Fricción al reiniciar: después de una recuperación debe volver a adquirir capacidad, volver a descargar su imagen de contenedor y datos, y reanudar — por lo que el tiempo de inicio en frío y el tamaño de la imagen afectan su rendimiento efectivo y costo.

Qué verificar antes de rentar capacidad spot

Como la misma palabra puede significar cosas diferentes entre proveedores, use la comparación anterior para confirmar los detalles en lugar de asumir. Antes de comprometer una carga de trabajo a instancias interrumpibles, revise esta lista:

• Ventana de aviso: ¿el proveedor avisa antes de recuperar la instancia, y cuánto dura el período de gracia? Incluso 30–120 segundos cambian cómo diseña su checkpointing.
• Qué tan agresivas son las recuperaciones: ¿las máquinas spot se recuperan solo bajo presión genuina de capacidad, o también para reequilibrios rutinarios? Recuperaciones frecuentes y de baja presión erosionan los ahorros.
• Infraestructura de checkpoints: ¿puede escribir checkpoints en almacenamiento duradero de objetos o en red de manera económica, y es razonable la salida para recuperarlos? Esto es lo más importante para usar spot de forma segura.
• Readquisición automática: ¿la plataforma reencola y reinicia automáticamente su trabajo cuando la capacidad regresa, o debe programarlo usted mismo? La reencola gestionada hace que spot sea mucho menos manual.
• Comportamiento multi-GPU y multi-nodo: si necesita varias GPUs juntas, perder una puede detener todo el trabajo. Verifique si el proveedor puede mantener un grupo atómicamente o solo ofrece spot para GPU individuales.
• Granularidad de facturación: la facturación por segundo o por minuto va bien con spot porque solo paga por el tiempo que realmente usó antes de una recuperación, en lugar de redondear hacia arriba.

Un patrón práctico que muchos equipos adoptan es una configuración híbrida: ejecutar la mayor parte del trabajo orientado a rendimiento y que pueda hacer checkpoints en spot para capturar el descuento, mientras mantienen una pequeña huella on-demand para cualquier cosa sensible a la latencia o con estado. Esa mezcla captura la mayoría de los ahorros sin exponer las partes de su pipeline que realmente no pueden tolerar interrupciones.

Preguntas frecuentes

¿Perderé mi trabajo cuando se recupere una instancia de GPU spot?

Pierde cualquier estado que exista solo en la instancia en el momento en que se recupera — incluyendo progreso no guardado y cualquier cosa en disco local únicamente. No pierde el trabajo que ya haya escrito en almacenamiento persistente o en red. Por eso, hacer checkpoints frecuentes en almacenamiento duradero es la disciplina central para usar capacidad spot de forma segura; con buen checkpointing pierde como máximo los pocos minutos desde su última guardada.

¿El hardware GPU es diferente en instancias spot versus on-demand?

No. Las instancias spot y on-demand usan el mismo hardware físico, por lo que la GPU, su VRAM, sus núcleos tensoriales y su interconexión son idénticos. La única diferencia es el contrato sobre disponibilidad y precio: spot es más barato pero interrumpible, mientras que on-demand cuesta más y no se recupera de debajo de usted. Usted paga por continuidad garantizada, no por un silicio más rápido.

¿Cuánto pueden ahorrar realmente las instancias spot comparadas con on-demand?

El descuento suele ser sustancial y es la razón principal para elegir capacidad interrumpible, pero la cifra exacta varía según el proveedor, modelo de GPU, región y demanda actual, y cambia constantemente. En lugar de confiar en un solo número, consulte la comparación en vivo arriba para la diferencia actual entre spot y on-demand en la GPU específica que desea.

¿Qué cargas de trabajo nunca deberían ejecutarse en instancias spot?

Evite spot para cualquier cosa que no pueda sobrevivir a una desaparición repentina: inferencia en vivo y de baja latencia detrás de una aplicación en producción, sesiones interactivas con trabajo no guardado, y trabajos multi-GPU muy acoplados que no pueden recuperarse cuando se pierde un nodo. Para esos casos, la prima on-demand vale la pena. Todo lo que haga checkpoints limpios y tolere reinicios — entrenamiento, ajuste fino, inferencia por lotes, renderizado y barridos — es adecuado para spot.