Meilleures GPU Cloud pour l'Inférence et le Service de Modèles

Ce que l’inférence exige réellement d’un GPU loué

L’inférence est la phase de service dans la vie d’un modèle : les poids sont déjà entraînés, et vous payez pour le calcul chaque fois qu’un utilisateur envoie une invite, une image ou une requête. Cela change complètement les calculs matériels par rapport à l’entraînement. L’entraînement est limité par le débit et s’exécute pendant des heures ou des jours sur des grappes denses ; l’inférence est sensible à la latence, intermittente et s’exécute indéfiniment. Lorsque vous louez un GPU pour servir un modèle, vous optimisez le coût par token ou par requête avec un temps de réponse acceptable, et non les FLOPs bruts sur un long travail.

La contrainte la plus importante est généralement la capacité mémoire, pas le calcul. Un modèle doit tenir dans la VRAM avec son cache clé-valeur (KV), qui croît avec la taille du lot et la longueur du contexte. Pour les grands modèles de langage, c’est la pression dominante : un modèle servi en 16 bits nécessite environ deux octets par paramètre rien que pour les poids, donc un modèle de taille moyenne peut tenir confortablement sur une seule carte milieu de gamme tandis qu’un modèle de pointe peut nécessiter plusieurs GPU reliés ensemble. La comparaison ci-dessus vous permet de filtrer précisément par VRAM afin de faire correspondre une carte au plus grand modèle que vous souhaitez servir plus une marge pour les requêtes simultanées.

Les spécifications qui influencent le coût et la latence de l’inférence

• La capacité VRAM détermine si le modèle et son cache KV tiennent sur un seul GPU ou doivent être répartis. Le débordement vers un second GPU ou vers la mémoire hôte ajoute de la latence et de la complexité.
• La bande passante mémoire est le véritable goulot d’étranglement pour la génération de tokens. Le décodage autorégressif lit l’ensemble des poids pour chaque token produit, donc une mémoire à haute bande passante (classe HBM) génère les tokens plus rapidement qu’une mémoire de type GDDR au même niveau de calcul.
• Le support de faible précision est extrêmement important. Les cartes avec des chemins tensoriels FP8 ou INT8 vous permettent de quantifier les modèles pour servir plus de requêtes par dollar avec peu de perte de qualité. La quantification en 8 bits ou 4 bits réduit également l’empreinte mémoire, permettant souvent à un modèle de tenir sur une carte moins chère.
• L’interconnexion (NVLink versus PCIe) n’a d’importance que lorsque le modèle s’étend sur plusieurs GPU. Pour un service sur un seul GPU, elle est sans importance ; pour un service en parallèle tensoriel de très grands modèles, elle affecte directement la latence des tokens.

Inférence par lot (hors ligne) versus inférence en temps réel

Deux modes de service très différents se cachent sous le terme « inférence », et ils nécessitent des locations différentes.

L’inférence en temps réel sert des utilisateurs en direct : un chatbot, un point d’API, un générateur d’images derrière une application web. Ici, la latence maximale est primordiale, les GPU sont souvent partiellement inactifs en attendant le trafic, et vous ne pouvez pas tolérer qu’une instance soit retirée en plein milieu d’une requête. Ce mode favorise une capacité à la demande, toujours disponible, et une carte avec une forte bande passante mémoire pour que la latence par requête reste faible même avec de petits lots.

L’inférence par lot ou hors ligne traite un important arriéré : évaluer un jeu de données, générer des embeddings pour un corpus, légender un million d’images. Il n’y a pas d’utilisateurs en direct, donc la latence par élément importe peu et vous pouvez regrouper de gros lots pour saturer le GPU. Ce mode est le candidat idéal pour une capacité interrompable ou spot, car si une instance est récupérée, vous reprenez simplement la file d’attente. Lorsque vous lisez la liste ci-dessus, décidez d’abord lequel de ces deux modes vous concerne, car cela change le modèle de facturation et le niveau de disponibilité rationnels.

Pourquoi le débit et l’utilisation surpassent les FLOPs de pointe

Une carte qui semble deux fois plus puissante sur le papier ne réduit rarement de moitié votre facture d’inférence. Le décodage est limité par la mémoire, donc la puissance de calcul maximale annoncée d’un GPU est souvent sous-utilisée lors de la génération. Ce que vous payez réellement, c’est le nombre effectif de tokens par seconde par dollar selon vos tailles de lots et longueurs de contexte réelles. Les piles de service modernes récupèrent beaucoup de capacité gaspillée grâce au regroupement continu, aux caches KV paginés et à la quantification. La conclusion pratique lors de la location : un GPU milieu de gamme exécutant un serveur optimisé peut surpasser une carte haut de gamme exécutant un serveur non optimisé, et une carte plus petite et moins chère qui tient toujours votre modèle est souvent la gagnante en termes de coût pour un trafic stable.

Fonctionnalités du fournisseur particulièrement importantes pour le service

L’inférence s’exécute en continu, donc les fonctionnalités de la plateforme environnante pèsent plus lourd que pour un travail d’entraînement ponctuel. En comparant les options ci-dessus, vérifiez ces dimensions :

• Granularité de facturation : une facturation à la seconde ou à la minute favorise un service intermittent et évolutif à zéro ; une facturation horaire grossière pénalise les points de terminaison inactifs entre les pics de trafic.
• Démarrage à froid et vitesse de provisionnement : si vous augmentez et réduisez les réplicas selon la demande, la rapidité avec laquelle une nouvelle instance GPU est prête affecte directement la latence perçue par l’utilisateur et votre capacité à l’autoscaling.
• Stockage persistant et mise en cache d’images : charger de gros poids de modèle à chaque démarrage est lent et parfois facturé. Les images mises en cache ou les volumes attachés qui contiennent les poids réduisent considérablement les démarrages à froid.
• Frais de sortie : le service renvoie continuellement les résultats aux utilisateurs. Les frais de sortie par gigaoctet, invisibles pour l’entraînement, peuvent devenir un poste réel pour les API à fort volume.
• Fiabilité à la demande versus tarification spot : les points de terminaison en temps réel nécessitent généralement une capacité garantie à la demande ; les travaux par lot peuvent opter pour des instances interrompables moins chères.
• Options d’autoscaling et serverless : l’échelle à zéro est importante lorsque le trafic est en pics, pour ne pas payer un GPU inactif toute la nuit.

Comment lire la comparaison ci-dessus pour l’inférence

Procédez dans cet ordre. D’abord, identifiez le plus grand modèle que vous devez servir et confirmez qu’une carte dispose de suffisamment de VRAM pour les poids plus le cache KV à la concurrence attendue. Ensuite, privilégiez une haute bande passante mémoire et le support de faible précision (FP8/INT8) pour maximiser les tokens par seconde par dollar. Troisièmement, adaptez le modèle de facturation et de disponibilité à votre mode : à la demande avec facturation fine pour les points de terminaison en direct, capacité interrompable pour le travail par lot hors ligne. Utilisez le tableau en direct pour les tarifs actuels, car les prix horaires varient avec la demande et la rareté et diffèrent selon le fournisseur ; la règle durable est que la carte la moins chère qui tient confortablement votre modèle et votre trafic gagne presque toujours, pas la plus puissante disponible.

Questions fréquemment posées

De combien de mémoire GPU ai-je besoin pour servir un modèle en inférence ?

Prévoyez les poids du modèle plus le cache clé-valeur. En 16 bits, les poids nécessitent environ deux octets par paramètre, et la quantification en 8 bits ou 4 bits réduit cela considérablement. Ajoutez ensuite une marge pour le cache KV, qui croît avec la taille du lot et la longueur du contexte. Filtrez la liste ci-dessus par VRAM et choisissez une carte qui tient le modèle avec de la marge pour que la concurrence ne vous fasse pas manquer de mémoire.

Une GPU moins chère suffit-elle pour l’inférence, ou ai-je besoin d’une carte haut de gamme ?

Pour de nombreuses charges de service, une carte milieu de gamme offre un meilleur rapport qualité-prix. La génération de tokens est limitée par la bande passante mémoire plutôt que par la puissance de calcul maximale, donc les FLOPs des cartes haut de gamme sont souvent sous-utilisés. Si votre modèle tient dans la VRAM d’une carte plus petite et qu’une pile de service optimisée maintient le GPU occupé, vous obtenez généralement un meilleur coût par token que de louer l’option la plus chère.

Dois-je utiliser des instances spot ou interrompables pour l’inférence ?

Cela dépend du mode. L’inférence par lot hors ligne tolère bien les interruptions, car vous pouvez reprendre une file d’attente, ce qui rend la capacité spot moins chère attractive. Les points de terminaison en temps réel, destinés aux utilisateurs, nécessitent généralement une capacité garantie à la demande, car la récupération d’une instance en plein milieu d’une requête provoque des échecs et rompt les garanties de latence.

Qu’est-ce qui différencie la facturation de l’inférence de celle de l’entraînement ?

L’entraînement est un travail fini, limité par le débit, tandis que l’inférence s’exécute en continu et est souvent inactive entre les pics de trafic. Cela rend la facturation à la seconde, le provisionnement rapide, l’échelle à zéro et les coûts de sortie prévisibles beaucoup plus importants pour le service que pour un entraînement ponctuel. Prenez en compte ces fonctionnalités de plateforme dans la comparaison ci-dessus en plus du tarif horaire brut du GPU.