永続ストレージ付きクラウドGPUプロバイダー

クラウドGPUをレンタルする際の永続ストレージの意味

デフォルトでは、レンタルしたGPUインスタンスはインスタンスのライフサイクルに連動した作業用ディスクを提供します。インスタンスを停止、破棄、またはプリエンプトされると、そのローカルディスクは消去され、データは失われます。 永続ストレージはこの連動を断ち切ります。これは単一のGPUインスタンスの寿命に依存しないストレージボリュームであり、データセット、モデルチェックポイント、conda環境、キャッシュされた重みがシャットダウン後も保持され、次に起動したマシンに再接続されます。上記の比較にあるプロバイダーはすべて何らかの形でこれを提供していますが、実装は異なり、「はい」という答えは始まりに過ぎません。

実際には、永続ストレージは主に二つの形態で現れます。第一は ネットワークボリューム（ブロックまたはファイルシステムストレージ）で、プロバイダーの内部ネットワーク経由でマウントし、起動する任意のGPUノードにアタッチできます。第二は オブジェクトストレージ（S3互換バケット）で、ジョブ開始時にデータをプルし、結果をプッシュします。いくつかのプロバイダーは、計算ライフサイクルから切り離された高速なローカルNVMeプール上に永続的なホームディレクトリを保持しています。これらはスループット、レイテンシ、トレーニングループへの組み込み方で大きく異なります。

実際のGPUワークフローで重要な理由

永続ストレージを選ぶ価値がある理由は、GPU時間が高価なリソースであり、データの再ダウンロードや再準備に無駄を出したくないからです。具体的には、以下のワークフローが変わります：

• 長時間のトレーニングやファインチューニングでは数百ステップごとにチェックポイントを書き込みます。これが一時的なディスクにしか保存されていないと、ノードがクラッシュまたはプリエンプトされると最初からやり直しになります。永続ストレージなら新しいGPUで最後のチェックポイントから再開可能です。
• スポットや中断可能インスタンスが実用的になります。安価なプリエンプト可能GPUの経済性は、ノードを失っても作業が失われないことに依存しており、それは状態がインスタンスより長く存続するボリューム上にある場合のみ成立します。
• 大規模データセット（数百GBの画像、動画、トークンコーパスなど）は毎回の起動で再配置するのが大変です。永続ボリュームは準備済みの分割データを保持し、新しいセッションは長いコピー待ちではなく数秒で開始できます。
• 反復的な開発は安定したホームディレクトリから恩恵を受けます。環境、インストール済みパッケージ、キャッシュされたHugging Faceの重み、ノートブックが翌日も残り、コンテナイメージから再構築する必要がありません。
• 推論サービングはモデル重みをアタッチされたストレージに保持し、スケールアップしたレプリカがリモートバケットから数十GBをコールドスタートで読み込む代わりに素早くロードできます。

検討すべきトレードオフ

永続ストレージはコストや手間がかかり、プロバイダー間の違いは機能の有無よりもこれらのトレードオフに現れます。

• アイドル時も料金が発生します。 GPUを停止すると計算料金は止まりますが、永続ボリュームはGPUがアタッチされていなくても容量（通常はGB-月単位）で課金され続けます。プロジェクト間で大きなボリュームを放置すると静かな継続課金になります。
• リージョンとゾーンの固定。 ネットワークボリュームは通常一つのリージョンまたはデータセンターに存在します。欲しいGPUタイプが別リージョンにしかない場合、ボリュームをそちらにアタッチできないことがあり、移行には転送費用やコピー時間がかかります。
• スループットとレイテンシは大きく異なります。 ローカルNVMeスクラッチは毎秒ギガバイト単位の速度を出せますが、ネットワークファイルシステムははるかに遅く、データ集約型トレーニングループのボトルネックになります。高スループットのデータパイプラインでは容量よりこの差が重要です。
• 同時接続制限。 一部のブロックボリュームは一度に一つのインスタンスにしかアタッチできませんが、共有ファイルシステムやオブジェクトストレージは多数のリーダーを許容します。マルチノードトレーニングには通常、共有ファイルシステムかオブジェクトストアが必要で、単一アタッチのブロックデバイスは適しません。
• 転送および送出料金。 同一プロバイダーのリージョン内での読み取りは通常安価ですが、データを自分のラップトップや別クラウドに引き出すと、ストレージ費用をはるかに超える送出料金がかかる場合があります。

上記比較で確認すべき点

永続ストレージ対応のプロバイダー一覧を読む際は、「はい」を均一に扱わず、詳細を掘り下げてください：

1. ボリュームタイプとスループット — ブロック、ネットワークファイルシステム、オブジェクトストレージのどれか、そしてトレーニング負荷下での実際の読み書き帯域幅は？
2. 料金モデル — ボリュームのGB-月単位料金、GPU非接続時も課金されるか。
3. リージョンの結びつき — ボリュームが実際に必要なGPUタイプやリージョン（スポット容量含む）にアタッチ可能か。
4. 容量と制限 — 最大ボリュームサイズ、スナップショット対応、複数ノード間で共有可能か。
5. 送出条件 — データ転送コスト。これがストレージ費用より総支出を左右することが多い。

これらの回答を自分のワークロードに照らし合わせてください。長時間のファインチューニングは信頼できるチェックポイント永続性と再開が必要です。大規模データパイプラインは生のスループットを求めます。サーバーレスやオートスケーリング推論群はウォーム重みの高速共有読み込みを望みます。表の中で永続ストレージの形態が自分の主要パターンに合うプロバイダーが最適です。

よくある質問

永続ストレージはGPUインスタンスを停止してもデータを保持しますか？

はい、それがまさに目的です。永続ボリュームは計算インスタンスから切り離されているため、GPUノードを停止または破棄してもボリュームとその内容は残ります。次に起動したインスタンスに再接続します。ただし、ボリューム自体はGPUが動いていなくても容量課金が継続することを覚えておいてください。

永続ストレージはGPUレンタル料金に含まれていますか？

通常は含まれていません。時間単位のGPU料金は計算と基本的な一時ディスクをカバーし、永続ボリュームは容量単位（通常GB-月単位）で別途課金されます。総費用を見積もる際はストレージを別項目として扱い、上記のライブ比較で各プロバイダーの価格設定を確認してください。

安価なスポットや中断可能GPUで永続ストレージは使えますか？

それが永続ストレージを求める最大の理由の一つです。ボリュームが単一ノードより長く存続するため、スポットインスタンスからプリエンプトされても作業は失われず、新しいマシンで最後のチェックポイントから再開できます。プロバイダーが同じリージョンのスポット容量にボリュームをアタッチ可能か確認してください。

永続ストレージとS3のようなオブジェクトストレージの違いは何ですか？

オブジェクトストレージはデータを永続化する一つの方法ですが、バケットやオブジェクトとしてAPI経由で読み書きし、ローカルディスクとしてマウントしません。永続的なブロックまたはファイルシステムボリュームは、コードが直接読み書きするアタッチドライブのように振る舞います。オブジェクトストレージは大規模にスケールし、多数ノードで共有可能ですが、マウントされたボリュームはアクティブなトレーニングループで低レイテンシを提供します。多くのワークフローは両方を使い分けており、バケットはコールドアーカイブ、マウントボリュームはライブ作業セットに使います。