ジェネレーティブAIに最適なクラウドGPU

レンタルGPUにおける生成AIの実際の要求

生成AIは広範な分野を指します。自己回帰型の大規模言語モデル、拡散ベースの画像・動画生成モデル、テキストから音声や音楽を生成するモデル、そして複数のモーダルを同時に扱うマルチモーダルシステムが含まれます。共通点は、モデルが入力データに対して大きく、ボトルネックはほぼ常にGPUメモリであり、単なる計算能力ではありません。上記の比較を読む前に、このワークロードで重要な要素を理解しておくと役立ちます。

• VRAM容量は、何を読み込めるかを決定します。モデルの重みは活性化値と共にメモリに収まる必要があり、トレーニング時にはオプティマイザの状態や勾配も必要です。量子化された7B〜13Bパラメータモデルの推論は24GBの単一カードで快適に動作しますが、70Bモデルを高精度で提供するには80GBクラスのアクセラレータや複数GPUが必要になります。
• メモリ帯域幅はトークンのスループットを左右します。生成推論はメモリバウンドであり、生成されるトークンごとにモデルの重みを計算ユニットにストリーミングする必要があるため、データセンター向けアクセラレータに搭載されるHBMクラスの帯域幅は、同じVRAM容量のGDDRベースの消費者向けカードよりもはるかに高いトークン毎秒を実現します。
• 低精度サポートは多くの他のワークロードより重要です。FP16、BF16、特にFP8やINT8を加速するテンソルコアにより、より大きなモデルを少ないメモリで高速に動作させられます。FP8対応ハードウェアは最新の大規模モデルの提供とトレーニングの両方で重要な差別化要素です。
• インターコネクトは、モデルが単一GPUに収まらなくなった時に決定的になります。NVLinkのような高帯域幅リンクやマルチノードトレーニング用のノードレベルファブリックは、重みを分散した複数GPUにデータを供給し続けます。PCIeのみのマルチGPU構成も動作しますが、大規模モデルのトレーニングやテンソル並列推論を制限します。

ワークロードに適した階層の選択

「生成AI」は用途によりレンタルニーズが大きく異なります。上記のリストをこの視点で読むことで、コストと手間を節約できます。

推論と提供

ユーザー向けにテキスト、画像、音声を生成するモデルを展開する場合、コストあたりの最高メモリ帯域幅と、モデルと適切なKVキャッシュ（コンテキスト長に応じて増加するリクエスト毎のメモリ）を収容できる十分なVRAMが必要です。チャット形式や長文生成ではKVキャッシュが重みと同等のサイズになることもあるため、インスタンスのサイズはモデル重みだけで決めないでください。INT8やFP8への量子化により、より大きなモデルを小さなカードで動かしたり、同時リクエスト数を増やせます。リアルタイムでレイテンシが重要な提供では、1レプリカあたり高速な単一GPUが、多数のGPUにモデルを薄く分散するより効果的です。

ファインチューニングと適応

多くのチームは基盤モデルのカスタマイズにパラメータ効率の良いファインチューニング（LoRA/QLoRA）を用いており、完全なトレーニングは行いません。特にQLoRAはベースモデルを量子化したまま小さなアダプター重みだけをトレーニングするため、VRAMの要求が大幅に低くなり、大規模モデルも24GB〜48GBの単一カードで調整可能です。対照的に大規模モデルの完全ファインチューニングはオプティマイザ状態や勾配をメモリに保持する必要があり、要求が数倍に増え80GBアクセラレータや強力なインターコネクトを持つマルチGPUノードが必要になります。

事前学習と大規模トレーニング

大規模な生成モデルをゼロからトレーニングするのは最も負荷が高いケースです。マルチGPU・マルチノードのスケーリングが支配的であり、インターコネクト帯域幅、高速共有ストレージによるデータローダーの供給、HBMとFP8対応の信頼性の高いハイエンドアクセラレータが重要です。ここではオンデマンドの可用性や希少性が計画上の課題となり、最安のスポット価格を追うよりもコミット済みや予約済みの容量の方が合理的な場合が多いです。

生成AIにおける上記比較の読み方

表は最新の具体的な情報を扱っていますが、読む際に考慮すべきポイントは以下です：

• まずVRAM、その次に帯域幅。モデルとKVキャッシュを実際に収容できるインスタンスに絞り込み、推論スループットのためにHBMクラスのメモリを優先してください。
• 単一GPUかマルチGPUか。モデルが単一GPUに収まるなら、高速な単一カードの方がシンプルで通常はマルチGPUボックスより安価です。モデルが本当に複数カードにまたがる場合のみNVLink接続のマルチGPUインスタンスを選択してください。
• 課金単位。生成ワークロードはバースト的なことが多く、バッチ画像処理、評価実行、断続的なエンドポイントなどがあります。秒単位や分単位の課金とインスタンスの即時停止機能が、アイドル状態のアクセラレータへの無駄な支払いを防ぎます。
• スポットかオンデマンドか。中断可能なインスタンスは耐障害性のあるバッチ生成やチェックポイント付きファインチューニングに最適ですが、常時稼働が求められるユーザー向けエンドポイントにはリスクがあります。
• ストレージとデータ転送。モデル重みは大きく、チェックポイント用の永続ストレージも増えます。GPU時間だけでなく、各オプションのストレージとデータ転送の料金も確認してください。

最も需要の高いアクセラレータの価格と供給は頻繁に変動するため、上記比較の最新データを真実の源とし、ここでの指針を使って比較対象を絞り込んでください。

よくある質問

生成AIに必要なVRAMはどれくらいですか？

モデルサイズと精度によります。量子化モデルの7B〜13Bは24GBの消費者向けカードで動作し、中規模モデルや高精度推論は48GBカードを好み、70Bパラメータ以上の大規模モデルは通常80GBクラスのアクセラレータや複数GPUが必要です。長文生成時はKVキャッシュ用に追加のメモリを常に見積もってください。

生成AIにはスポットインスタンスとオンデマンドどちらを使うべきですか？

中断可能なスポットや割り込み可能な容量は、再起動で済むバッチ画像・動画生成やチェックポイント付きファインチューニングに適しています。生産環境の推論エンドポイントや容易に再開できない長時間トレーニングには、予期せぬ中断が大きな影響を与えるためオンデマンドや予約済み容量を使ってください。

80GBのデータセンターGPUが必要ですか、それとも消費者向けカードで十分ですか？

実験、LoRA/QLoRAファインチューニング、小〜中規模の量子化モデルの提供には24GBの消費者向けGPUで十分かつ安価です。スループット向上のための高メモリ帯域幅、FP8加速、マルチGPUスケーリングのためのNVLink、大規模モデルや大バッチ用の余裕が必要な場合は、HBM搭載の80GBアクセラレータにステップアップしてください。

GPUがフル活用されていないのにトークン生成が遅いのはなぜですか？

生成推論は通常計算能力ではなくメモリ帯域幅に制限されるため、計算利用率が低くてもトークン毎秒の上限が高いことがあります。解決策は、より高速なメモリ（GDDRではなくHBM）を持つカードを使うこと、モデルをINT8やFP8に量子化すること、または複数リクエストをまとめてバッチ処理し、メモリからストリーミングする重みを複数生成に共有させることです。