Meilleures GPU Cloud pour l'entraînement de modèles d'IA

Ce que la formation d’un modèle d’IA exige réellement d’un GPU loué

La formation est la phase la plus gourmande en ressources du cycle de vie de l’apprentissage automatique. Contrairement à l’inférence, qui exécute un modèle terminé une seule fois par requête, la formation pousse à plusieurs reprises des lots de données en avant et en arrière à travers le réseau, calculant les gradients et mettant à jour des millions ou des milliards de paramètres sur de nombreuses époques. Ce schéma itératif, de longue durée et à forte consommation de mémoire est ce qui distingue une location de formation de qualité d’une simple location bon marché. La comparaison ci-dessus est filtrée pour des instances adaptées à ce travail, mais savoir pourquoi elles sont qualifiées vous aide à la lire correctement.

Lorsque vous entraînez, le GPU doit contenir bien plus que les poids du modèle. Il stocke simultanément les activations pour la passe arrière, les gradients et l’état de l’optimiseur. Avec des optimiseurs courants tels qu’Adam, cet état d’optimiseur peut à lui seul tripler approximativement l’empreinte mémoire des poids, car il suit les termes de momentum et de variance en plus des paramètres. C’est la principale raison pour laquelle une carte qui exécute confortablement l’inférence pour un modèle donné peut manquer de mémoire dès que vous essayez de l’affiner ou de le préformer.

Les spécifications les plus importantes pour la formation

• La capacité de VRAM est la barrière principale. Elle détermine la taille maximale du modèle et du lot que vous pouvez faire tenir avant d’être obligé d’utiliser la vérification de gradient, le déchargement ou le fractionnement sur plusieurs GPU. Les accélérateurs de centre de données avec mémoire à haute bande passante (HBM) disposent de beaucoup plus de VRAM que les cartes grand public, c’est pourquoi la formation sérieuse s’oriente vers eux.
• La bande passante mémoire alimente les unités de calcul. La formation est souvent limitée par la mémoire, donc la bande passante de classe HBM importe souvent plus pour le débit réel que les FLOPS de pointe bruts. Une carte privée de bande passante laisse ses cœurs tensoriels inactifs.
• Le support de basse précision influence directement la vitesse. Les cœurs tensoriels accélèrent FP16 et BF16, et les architectures plus récentes ajoutent FP8. Le BF16 est particulièrement apprécié pour la formation car sa plage d’exposant plus large résiste au dépassement et au sous-dépassement qui affectent le FP16, rendant les exécutions en précision mixte plus stables.
• L’interconnexion détermine la qualité de la montée en charge au-delà d’un seul GPU. NVLink entre les cartes dans un nœud, et un tissu haute vitesse comme InfiniBand entre les nœuds, décident si la synchronisation des gradients devient un goulot d’étranglement. Les configurations multi-GPU uniquement PCIe peuvent se bloquer sur la communication lors de la formation distribuée.

Formation sur GPU unique, multi-GPU et multi-nœuds

Tous les travaux de formation ne nécessitent pas un cluster. Adaptez l’échelle de la location à celle du travail :

• Un seul GPU suffit pour les petits modèles, l’affinage efficace en paramètres (comme les adaptateurs de type LoRA) et la plupart des expérimentations. Ici, vous voulez la plus grande VRAM que vous pouvez justifier afin d’éviter les contournements par micro-lots.
• Multi-GPU sur un nœud convient aux affinement complets et aux modèles de taille moyenne. Le parallélisme des données réplique le modèle et divise le lot ; c’est là que NVLink justifie son coût en accélérant l’étape d’all-reduce qui moyenne les gradients entre les cartes.
• Les clusters multi-nœuds sont nécessaires pour les grands pré-entraînements, où le modèle lui-même est fragmenté avec du parallélisme tensoriel, en pipeline ou entièrement fragmenté. À cette échelle, la bande passante et la topologie du réseau inter-nœuds deviennent aussi importantes que les GPU, et un tissu lent peut annuler l’avantage d’ajouter plus de matériel.

Fonctionnalités du fournisseur qui font ou défont une session de formation

Le matériel n’est que la moitié de la décision. Les longues sessions de formation exposent des détails opérationnels que les tâches courtes d’inférence ne touchent jamais :

• Le débit de stockage est important car le pipeline de données doit alimenter le GPU sans le bloquer. Les grands ensembles de données nécessitent un stockage rapide et persistant proche du calcul ; un disque lent ou un bucket distant peut brider un GPU autrement performant.
• Spot versus à la demande est un véritable compromis pour la formation. Les instances interruptibles réduisent considérablement le coût, mais une préemption en cours de session gaspille les progrès à moins que vous ne fassiez des points de contrôle fréquents et puissiez reprendre proprement. La capacité à la demande ou réservée offre la fiabilité pour les travaux que vous ne pouvez pas vous permettre de perdre.
• Le support de la mise en point (checkpointing) et des volumes persistants vous permet de survivre aux interruptions, de faire une pause pour inspecter les résultats et de redémarrer sans tout recharger. C’est essentiel pour les sessions de plusieurs jours.
• La granularité de facturation affecte le coût total. La facturation à la seconde ou à la minute favorise les expériences courtes et itératives, tandis que l’arrondi horaire grossier pénalise les cycles fréquents de démarrage-arrêt pendant le développement.
• La disponibilité multi-GPU et multi-nœuds doit être confirmée à l’avance. Sécuriser huit cartes dans un nœud, ou plusieurs nœuds interconnectés, est plus difficile que de louer un seul GPU, et la rareté varie.

Comment lire la comparaison ci-dessus pour une charge de travail de formation

Commencez par la taille de votre modèle et de votre ensemble de données, puis élargissez. Estimez la mémoire dont vous avez besoin pour les poids plus les gradients plus l’état de l’optimiseur, et filtrez les instances dont la VRAM dépasse cette barre avec une marge. Ensuite, décidez si un seul GPU suffit ou si vous avez besoin d’un multi-GPU connecté par NVLink ou d’un cluster en réseau, et vérifiez que les candidats offrent cette topologie. Ce n’est qu’ensuite que vous pesez le prix et le modèle de facturation. Une instance un peu plus chère avec plus de VRAM et une interconnexion plus rapide termine souvent plus vite et coûte moins cher au total qu’une carte moins chère qui vous force à des contournements lents. Comme les tarifs de location évoluent constamment et diffèrent selon les fournisseurs, considérez les chiffres en direct dans le tableau ci-dessus comme la source de vérité plutôt que tout chiffre cité dans le texte.

Questions fréquemment posées

De combien de mémoire GPU ai-je besoin pour entraîner un modèle ?

Prévoyez beaucoup plus que le nombre de paramètres du modèle. Au-delà des poids, vous devez stocker les activations pour la passe arrière, les gradients et l’état de l’optimiseur, ce qui avec des optimiseurs de type Adam peut tripler approximativement l’empreinte mémoire des poids. La précision mixte et des techniques comme la vérification de gradient ou le déchargement réduisent cette exigence, mais l’approche sûre est de choisir une VRAM avec marge plutôt que de s’adapter exactement.

Les instances spot ou interruptibles sont-elles sûres pour les travaux de formation ?

Elles peuvent l’être, à condition que vous fassiez des points de contrôle fréquents et que votre code reprenne proprement à partir du dernier état sauvegardé. La capacité spot réduit significativement le coût, mais elle peut être récupérée à tout moment, donc elle convient mieux aux sessions tolérantes aux pannes ou expérimentales qu’à un long travail unique irremplaçable. Pour une formation que vous ne pouvez pas vous permettre de redémarrer, la capacité à la demande ou réservée est le choix le plus sûr.

Ai-je besoin de plusieurs GPU pour entraîner, ou un seul suffira-t-il ?

Cela dépend de la taille du modèle et de l’ensemble de données. Les petits modèles, l’affinage et les méthodes efficaces en paramètres fonctionnent souvent bien sur un seul GPU à grande VRAM. Les affinement complets et les modèles plus grands bénéficient de nœuds multi-GPU avec interconnexion rapide, et seuls les plus grands travaux de pré-entraînement nécessitent véritablement des clusters multi-nœuds avec un réseau haute vitesse entre machines.

Pourquoi l’interconnexion est-elle si importante pour la formation ?

La formation distribuée synchronise constamment les gradients entre les GPU. Si le lien entre cartes ou nœuds est lent, cette communication bloque chaque étape et les GPU restent inactifs en attendant les uns les autres. Une interconnexion rapide comme NVLink dans un nœud et InfiniBand entre nœuds empêche la synchronisation de devenir un goulot d’étranglement, de sorte que l’ajout de matériel accélère réellement la session au lieu d’ajouter simplement une surcharge.