AIモデルのトレーニングに最適なクラウドGPU

レンタルGPUにAIモデルのトレーニングが実際に求めるもの

トレーニングは機械学習ライフサイクルで最もリソースを消費するフェーズです。完成したモデルをリクエストごとに一度だけ推論するのとは異なり、トレーニングはデータのバッチを何度もネットワークに前後させ、勾配を計算し、何百万または何十億ものパラメータを多くのエポックにわたって更新します。この反復的で長時間かつメモリを多く使うパターンが、単に安価なレンタルGPUと優れたトレーニング用GPUを分ける要因です。上記の比較はこの作業に適したインスタンスに絞っていますが、なぜそれらが適格なのかを理解することで正しく読み取れます。

トレーニング時、GPUはモデルの重み以上のものを保持しなければなりません。逆伝播用のアクティベーション、勾配、オプティマイザの状態を同時に保存します。Adamのような一般的なオプティマイザでは、オプティマイザの状態だけで重みのメモリ使用量を約3倍に増やします。これはモーメンタムや分散項をパラメータに加えて追跡するためです。このため、あるモデルの推論を快適に実行できるカードでも、ファインチューニングや事前学習を試みるとすぐにメモリ不足になることが最も大きな理由です。

トレーニングで最も重要な仕様

• VRAM容量は最大の壁です。これが最大のモデルサイズとバッチサイズを決め、勾配チェックポイントやオフロード、複数GPUへの分割を強いられるかどうかを左右します。データセンター向けアクセラレータは高帯域幅メモリ（HBM）を搭載し、消費者向けカードよりはるかに多くのVRAMを持つため、本格的なトレーニングはこれらに向かいます。
• メモリ帯域幅は演算ユニットへのデータ供給を維持します。トレーニングはしばしばメモリ帯域幅に制限されるため、HBMクラスの帯域幅はピークFLOPSよりも実効スループットに大きく影響します。帯域幅が不足するとテンソルコアが遊んでしまいます。
• 低精度演算のサポートは速度に直結します。テンソルコアはFP16とBF16を高速化し、新しいアーキテクチャではFP8も追加されました。BF16は指数部の範囲が広いため、FP16で問題となるオーバーフローやアンダーフローに強く、混合精度トレーニングの安定性を高めるため特に重宝されます。
• インターコネクトはGPUを複数使う際のスケール性能を決めます。ノード内のカード間はNVLink、ノード間はInfiniBandのような高速ファブリックが勾配同期のボトルネックを防ぎます。PCIeのみのマルチGPU環境は分散トレーニング中の通信で停滞することがあります。

シングルGPU、マルチGPU、マルチノードのトレーニング

すべてのトレーニングジョブにクラスタは不要です。レンタル規模は作業規模に合わせて選びましょう：

• シングルGPUは小規模モデル、パラメータ効率の良いファインチューニング（LoRAスタイルのアダプターなど）、ほとんどの実験に十分です。ここではマイクロバッチの回避のために可能な限り大きなVRAMを選びたいところです。
• ノード内マルチGPUはフルファインチューニングや中規模モデルに適しています。データ並列処理でモデルを複製しバッチを分割します。NVLinkはカード間の勾配平均化（オールリデュース）を高速化し、ここで威力を発揮します。
• マルチノードクラスタは大規模な事前学習に必要で、モデル自体をテンソル並列、パイプライン並列、または完全シャーディングで分割します。この規模ではノード間のネットワーク帯域幅とトポロジーがGPUと同じくらい重要で、遅いファブリックはハードウェア追加の利点を消してしまいます。

トレーニング実行を左右するプロバイダーの特徴

ハードウェアは決定要因の半分に過ぎません。長時間のトレーニングは短時間の推論では問題にならない運用面の詳細を露呈します：

• ストレージスループットは重要です。データパイプラインがGPUを止めずに供給し続けなければなりません。大規模データセットは計算に近い高速で永続的なストレージが必要で、遅いディスクやリモートバケットは優秀なGPUの性能を制限します。
• スポットインスタンスとオンデマンドはトレーニングにおいて本当のトレードオフです。中断可能なインスタンスはコストを大幅に削減しますが、途中でプリエンプションされると進行が無駄になるため、頻繁にチェックポイントを取り、クリーンに再開できる必要があります。失えないジョブにはオンデマンドや予約容量が信頼性を買います。
• チェックポイント機能と永続ボリュームは中断からの復旧、結果の確認のための一時停止、再アップロードなしでの再開を可能にします。これは数日間の長時間実行に不可欠です。
• 課金単位は総コストに影響します。秒単位や分単位の課金は短時間の反復実験に適し、時間単位の粗い課金は開発中の頻繁な開始停止に不利です。
• マルチGPUとマルチノードの可用性は事前に確認すべきです。1ノードで8枚のカードや複数ノードを確保するのは単一GPUのレンタルより難しく、希少性も異なります。

上記比較をトレーニングワークロードで読む方法

モデルサイズとデータセットから始めます。重み＋勾配＋オプティマイザ状態に必要なメモリを見積もり、その容量を余裕を持って満たすVRAMのインスタンスに絞ります。次に、1GPUで足りるか、NVLink接続のマルチGPUかネットワーククラスタが必要かを決め、候補がそのトポロジーを持つか確認します。その上で価格と課金モデルを比較します。わずかに高価でもVRAMが多くインターコネクトが速いインスタンスは、安価で遅い回避策を強いられるカードより早く終わり、総コストも低くなることが多いです。レンタル料金は常に変動しプロバイダー間で異なるため、上表のライブデータを真実の情報源として扱い、文章中の数字は参考程度にしてください。

よくある質問

モデルのトレーニングにどれくらいのGPUメモリが必要ですか？

モデルのパラメータ数よりかなり多めに見積もってください。重み以外に逆伝播用のアクティベーション、勾配、オプティマイザ状態を保存する必要があり、Adam系オプティマイザでは重みのメモリ使用量が約3倍になります。混合精度や勾配チェックポイント、オフロードなどの技術で削減可能ですが、安全策としては余裕を持ったVRAMを選ぶことです。

スポットや中断可能インスタンスはトレーニングに安全ですか？

頻繁にチェックポイントを取り、コードが最後の保存状態からクリーンに再開できるなら可能です。スポット容量はコストを大幅に下げますが、いつでも回収されるため、耐障害性のある実験的なジョブに向いています。再開できない重要なトレーニングにはオンデマンドや予約容量が安全です。

トレーニングに複数GPUは必要ですか？1枚で足りますか？

モデルとデータセットのサイズによります。小規模モデル、ファインチューニング、パラメータ効率の良い手法は高VRAMの単一GPUで十分です。フルファインチューニングや大規模モデルは高速インターコネクトを持つマルチGPUノードが有利で、最大規模の事前学習はマルチノードクラスタと高速ネットワークが必要です。

なぜインターコネクトがトレーニングで重要なのですか？

分散トレーニングはGPU間で勾配を常に同期します。カードやノード間のリンクが遅いと通信で毎ステップ停滞し、GPUが互いに待機してしまいます。ノード内のNVLinkやノード間のInfiniBandのような高速インターコネクトは同期のボトルネックを防ぎ、ハードウェア追加が単なるオーバーヘッドでなく実際の高速化につながります。