NVIDIA H100搭載のベストクラウドGPUプロバイダー

NVIDIA H100とは何か

H100はNVIDIAのデータセンター向けアクセラレータで、Hopperアーキテクチャに基づいています。これは旧世代のAmpere A100と新しいBlackwell世代の間に位置する世代です。大規模モデルのトレーニングや高スループット推論を真剣に行いたいチームが選ぶGPUであり、一般消費者向けカードに落とし込まずに済みます。上記の比較からH100インスタンスをレンタルする場合、ゲーム用GPUを流用したものではなく、目的に特化したAIアクセラレータを借りることになり、それが性能とコストの両方に影響します。

レンタル時に重要なハードウェアの特徴：

• メモリ：SXM5バリアントは80GBのHBM3を搭載し、PCIeバリアントは主流モデルで80GBのHBM2eを使用します。後のリフレッシュ版であるH100 NVLはカードあたりの容量を増加させています。大容量かつ高速なHBMは、GDDR6ベースのオプションよりこのカードを選ぶ最大の理由です。
• メモリ帯域幅：SXM5のHBM3は約3TB/sを実現し、消費者向けのGDDR6/GDDR6Xカードを大きく上回ります。大規模なトランスフォーマーレイヤーを支えるのは、単なるFLOPsではなく帯域幅です。
• テンソルコアと精度：第4世代テンソルコアはFP16、BF16、TF32、INT8に対応し、Hopperで新たにFP8をサポートします。FP8は現代のLLMワークロードの注目機能で、対応カーネルでFP16比で約2倍のスループットを実現し、適切なスケーリングで精度も許容範囲内に保ちます。
• トランスフォーマーエンジン：HopperはFP8ハードウェアと、レイヤーごとに動的に精度を管理するソフトウェアを組み合わせており、同じモデルで前世代よりもトレーニングと推論のスループットを大幅に向上させています。
• インターコネクト：SXM5ボードは第4世代NVLinkとNVSwitchを使い、ノード内のGPU間で高帯域幅リンクを提供します。一方、PCIeカードはPCIeバスを使用し（一部バリアントではNVLinkブリッジも利用可能）、この違いはマルチGPUジョブで非常に重要です。
• 消費電力クラス：SXM5カードは約700Wで8GPUサーバシャーシに搭載され、PCIeカードは約350Wと低めです。レンタル時に電気代を直接払うわけではありませんが、これがインスタンスの密度や発熱、価格に影響しています。

H100が真に適するワークロード

H100はメモリ帯域幅がボトルネックとなる高スループットのジョブに最適です。特に以下に強みがあります：

• 大規模モデルのトレーニングとファインチューニング：80GBのHBMにより、GPUごとにより大きなバッチやパラメータシャードを保持でき、NVLinkはデータ並列・テンソル並列トレーニングでのマルチGPU・マルチノードスケーリングを効率化します。
• 高スループットLLM推論：FP8とトランスフォーマーエンジンにより、大規模言語モデルを高リクエスト数で効率的にサーブでき、トークンあたりのコストパフォーマンスが優れています。
• 中〜大規模モデルのファインチューニング：数十億パラメータモデルの完全ファインチューニングやパラメータ効率的手法が、小容量VRAMカードでの過度なオフロードを避けて快適に実行可能です。
• 科学技術計算およびHPC：消費者向けカードと異なりFP64スループットが高いため、AIだけでなくシミュレーションや数値計算にも適しています。

小規模モデルの実験、軽量推論、古典的機械学習、ノートブック、レンダリングや可視化の多くには過剰性能であり、より安価なカードで十分です。これらにH100をレンタルするのは大抵無駄遣いです。単一ノード作業で性能不足になることは稀で、主に単一ノードのメモリ容量不足や最新世代の効率向上を求める場合に他の選択肢が検討されます。

SXMとPCIe — レンタルするバリアントが重要

レンタル時に最も見落とされがちな点です。SXM5ボードは高帯域幅、完全なNVLink/NVSwitchファブリック、高い持続クロックを提供するため、真剣なマルチGPUトレーニングにはほぼ必須です。PCIeカードはホスティングコストが安く、単一GPU推論や小規模ジョブに適していますが、GPU間リンクは遅いです。上記のリストにバリアントが明記されていない場合、マルチGPUトレーニング前に必ず確認してください。

レンタルコスト、入手可能性、希少性

クラウドGPUの価格帯では、H100はA100より上位で、RTX 4090などの消費者カードよりはるかに高価ですが、最新のBlackwell世代により絶対的な最高価格からは押し下げられています。料金はプロバイダー、地域、契約期間、バリアントにより常に変動するため、固定値を信用せず上記の比較表で最新の数字を確認してください。以下の定性的ポイントは変わりません：

• オンデマンドとスポット：中断可能なスポットH100はオンデマンドより大幅に安価で、チェックポイント付きトレーニングや耐障害性のあるバッチ推論に適しますが、チェックポイントなしの長時間ジョブにはリスクがあります。
• 希少性：H100の供給は歴史的にタイトで、価格だけでなく地域やプロバイダーによって入手可能性が異なります。最安値のリストは、あなたの地域で容量が売り切れていれば意味がありません。
• GPU単位かフルノードか：多くのプロバイダーは単一H100をレンタルしますが、最高のマルチGPU性能は8GPU NVLinkノードのフル利用で得られます。部分利用、単一GPU、フルノードのどれかを確認してください。
• 請求単位：秒単位や分単位の請求は短時間のファインチューニングや断続的推論に有利で、時間単位の最低料金は長時間実行に向いています。ワークロードに合わせて選択してください。

よくある質問

クラウドのH100のVRAM容量は？

主流のH100は80GBの高帯域幅メモリを搭載しています。SXM5バリアントはHBM3、PCIeバリアントはHBM2eです。後のH100 NVLリフレッシュ版はカードあたりの容量を増やしています。リストで正確なバリアントとメモリ容量を必ず確認してください。これが最大モデルサイズやバッチサイズの上限を決めます。

A100よりH100をレンタルする価値は？

トランスフォーマーのトレーニングや推論では通常価値があります。HopperのFP8対応とトランスフォーマーエンジンにより、AmpereのA100よりGPUあたりのスループットが大幅に向上し、トークン単価やステップ単価で高いコストパフォーマンスを発揮します。FP8を活用しない小規模やメモリ軽量ジョブでは、より安価なA100や消費者カードの方が良い場合もあります。

SXM5とPCIeのH100はどちらを選ぶべき？

マルチGPUトレーニングや密結合分散ジョブにはSXM5を選んでください。NVLink/NVSwitchファブリックと高帯域幅がGPU間のスケールを大幅に向上させます。PCIeは単一GPU推論や小規模ワークロードに適し、コストも安いです。バリアントが不明な場合は、マルチGPU実行前に必ず確認してください。

スポットや中断可能なH100インスタンスで節約できる？

はい、中断可能な容量は通常オンデマンドよりかなり安価で、頻繁にチェックポイントを取るトレーニングや再起動を許容するバッチ推論に適しています。長時間でチェックポイントなしのジョブには避けてください。上記の表で両方の価格を比較してください。