Meilleurs fournisseurs de GPU cloud avec NVIDIA RTX 3090

Ce qu’est réellement la RTX 3090, et pourquoi elle apparaît encore dans les flottes cloud

La NVIDIA GeForce RTX 3090 a été lancée en 2020 comme le fleuron de la génération Ampere, construite sur la puce GA102. Elle associe un GPU grand public de grande taille à une généreuse mémoire GDDR6X de 24 Go sur un bus 384 bits, offrant environ 936 Go/s de bande passante mémoire. Cette combinaison d’une grande VRAM et d’une bande passante élevée à un prix grand public est précisément la raison pour laquelle cette carte est devenue un cheval de bataille dans les flottes GPU cloud à budget limité, et pourquoi elle continue d’apparaître dans la comparaison ci-dessus des années après sa sortie.

Parce qu’il s’agit d’une carte Ampere, la RTX 3090 intègre des Tensor Cores de troisième génération et des cœurs RT de deuxième génération. Pour le travail en IA, les Tensor Cores sont la partie pertinente : ils accélèrent les calculs en FP16 et BF16 en précision mixte, ainsi que INT8 et INT4 pour l’inférence. La carte prend également en charge la fonction de sparsité structurée d’Ampere pour un débit supplémentaire sur les modèles compatibles. Ce qu’elle n’a pas, c’est le support FP8 — qui est arrivé avec les générations Hopper et Ada Lovelace ultérieures — donc les flux de travail spécifiquement optimisés pour FP8 ne bénéficieront pas ici.

Spécifications importantes lors de la location

• Mémoire : 24 Go GDDR6X. C’est le chiffre le plus important pour les locataires. Cela suffit pour affiner ou exécuter l’inférence sur de nombreux modèles dans la plage de 7 à 13 milliards de paramètres avec quantification, et pour gérer confortablement la plupart des scènes de rendu et scientifiques.
• Bande passante : environ 936 Go/s, ce qui maintient le grand pool de mémoire bien alimenté pour les étapes d’inférence et d’entraînement liées à la mémoire.
• Support de précision : FP32, TF32, FP16, BF16, INT8, INT4 — pas de FP8. Les Tensor Cores accélèrent les chemins à basse précision utilisés dans le ML moderne.
• Interconnexion : PCIe Gen 4, avec NVLink optionnel entre exactement deux cartes. La 3090 est la dernière carte GeForce à exposer un pont NVLink, offrant à une configuration jumelée un lien GPU-à-GPU plus rapide que le seul PCIe.
• Classe énergétique et thermique : une carte de 350 W, ce qui représente une consommation importante et fait partie des raisons pour lesquelles les hôtes l’exposent souvent en instance simple ou double carte plutôt qu’en nœuds denses à 8 cartes.

Une mise en garde pratique : la RTX 3090 est une carte grand public et, selon la licence des pilotes NVIDIA, n’était pas destinée à un déploiement à grande échelle en datacenter comme les cartes de la série A et les cartes professionnelles ultérieures. Dans les flottes cloud, vous la trouverez fréquemment dans des places de marché communautaires ou de pair à pair plutôt que chez les hyperscalers de premier plan, ce qui contribue à son faible coût.

Charges de travail pour lesquelles elle convient réellement

Le tampon de 24 Go est le point fort. Il ouvre la voie à des tâches qui ne rentreraient tout simplement pas sur des cartes de 8 à 16 Go tout en maintenant des coûts bien inférieurs à ceux des accélérateurs de datacenter. Les bons usages incluent :

• Affinage de modèles petits à moyens avec LoRA/QLoRA, où le nombre de paramètres est modeste mais où vous souhaitez encore de la place pour les états de l’optimiseur et une taille de lot raisonnable.
• Inférence sur des modèles de langage quantifiés de 7 à 13 milliards, et inférence confortable sur la plupart des modèles de diffusion et de vision.
• Rendu 3D et création de contenu — la carte a été conçue pour le graphisme, donc le lancer de rayons accéléré par OptiX, Blender Cycles et des pipelines similaires fonctionnent bien et bénéficient directement des 24 Go pour les textures et géométries volumineuses.
• Expérimentation, prototypage et apprentissage, où vous voulez un GPU capable sans vous engager à des tarifs horaires premium.

Elle est surdimensionnée pour les petits modèles ou les expériences légères sur notebook qui tiennent sur des cartes moins chères de 8 à 12 Go, et elle est sous-dimensionnée pour l’entraînement à grande échelle de pointe. Entraîner un grand modèle à partir de zéro, ou exécuter un entraînement distribué multi-nœuds, nécessite des GPU de datacenter équipés de mémoire HBM avec des interconnexions NVLink/NVSwitch — la limite de NVLink à deux cartes de la 3090 et son extension basée sur PCIe en font un mauvais choix pour les clusters multi-GPU denses. L’inférence en production en temps réel avec haute concurrence à grande échelle est généralement mieux servie par des cartes plus récentes avec FP8 et un débit supérieur par dollar.

Contexte des coûts de location et de disponibilité

Sur le spectre des coûts, la RTX 3090 se situe fermement dans la catégorie économique des locations de GPU — bien en dessous du matériel de classe A100/H100 et même des cartes professionnelles Ada plus récentes, tout en offrant plus de VRAM que de nombreuses options de prix similaire. Parce qu’il s’agit d’un silicium grand public plus ancien, l’offre provient souvent de capacités interruptibles, spot et hébergées par la communauté, donc la disponibilité peut fluctuer et un hôte donné peut retirer des instances. Pour les tarifs horaires exacts et actuels et savoir quels fournisseurs ont du stock en ce moment, utilisez la comparaison en direct ci-dessus plutôt qu’un chiffre fixe, car les prix varient avec la demande et diffèrent largement entre offres à la demande et interruptibles.

Questions fréquemment posées

Quelle quantité de VRAM la RTX 3090 possède-t-elle, et est-elle suffisante pour les LLM ?

Elle dispose de 24 Go de GDDR6X. Cela suffit pour exécuter et affiner de nombreux modèles jusqu’à environ 13 milliards de paramètres avec quantification (comme le QLoRA 4 bits), et pour servir confortablement l’inférence quantifiée. Les modèles nettement plus grands nécessitent généralement plusieurs cartes ou un GPU de datacenter avec plus de VRAM.

Puis-je connecter deux RTX 3090 ensemble lors de la location ?

Oui, la 3090 supporte NVLink entre deux cartes, et certains hôtes proposent des configurations jumelées. Cela offre un lien plus rapide que le seul PCIe pour les tâches à deux GPU. Cependant, NVLink est limité ici à des paires — il n’y a pas de tissu de type NVSwitch — donc cela ne s’adapte pas bien aux nœuds denses à 4 ou 8 GPU utilisés pour l’entraînement distribué à grande échelle.

La RTX 3090 supporte-t-elle le FP8 ou les formats de précision les plus récents ?

Non. En tant que carte Ampere, elle supporte FP32, TF32, FP16, BF16, INT8 et INT4 via ses Tensor Cores de troisième génération, plus la sparsité structurée. Le FP8 a été introduit dans les générations Hopper et Ada Lovelace ultérieures, donc si votre flux de travail dépend spécifiquement du FP8, vous voudrez un GPU plus récent.

Pourquoi la RTX 3090 est-elle moins chère que les GPU de datacenter ?

C’est une carte graphique grand public de 2020 utilisant de la mémoire GDDR6X plutôt que HBM, et elle n’a pas été conçue pour un déploiement dense en datacenter. Elle provient souvent de capacités interruptibles ou hébergées par la communauté. Cela maintient les tarifs horaires bas, avec en contrepartie une disponibilité moins prévisible et un débit maximal inférieur à celui des accélérateurs actuels basés sur HBM.