NVIDIA H100 SXM architecture and memory — deep dive
回答
The NVIDIA H100 SXM datasheet shows a Hopper-class card with 80 GB of HBM3 memory, 3,350 GB/s memory bandwidth, 990 TFLOPS of FP16 compute, 67 TFLOPS of FP32 compute, and a 700W thermal envelope. It reached market in 2023.
Those specs make it capable of handling the full modern AI stack: pre-model training moderate-sized models, fine-tuning most LLMs, running production real-time serving at useful batch sizes, and accelerating diffusion / image generation workloads.
Ready to deploy? Latitude.sh has NVIDIA H100 SXM from $1.57/hr. Vultr and Vast.ai also carry it.
NVIDIA H100 SXMに関するさらに多くのFAQ
ノビタAI 対 ラティチュード.sh 対 Vultr 対 Vast.ai 対 マストコンピュート 対 デジタルオーシャン - GPUプロバイダー比較 (4月 2026)
ノビタAI 対 ラティチュード.sh 対 Vultr 対 Vast.ai 対 マストコンピュート 対 デジタルオーシャンの並列比較。最大資金、利益分配、リスク規則、レバレッジ、プラットフォーム、取引商品、支払いスケジュール、支払いオプション、取引許可、KYC制限を素早く確認し、プロップファームの候補を絞り込む。データ更新日 4月 2026。
|
ノビタAI
200以上のモデルAPI、GPUインスタンス、サーバーレス推論を大規模に提供するAI＆エージェントクラウドプラットフォーム。
|
ラティチュード.sh
23の世界各地で展開するベアメタルGPUクラウド
|
Vultr
32のグローバルリージョンにまたがる高性能クラウドGPU
|
Vast.ai
即時GPU。透明な価格設定。
|
マストコンピュート
エンジニアによる直接サポート付きGPUクラウド
|
デジタルオーシャン
シンプルでスケーラブルなAI/ML向けGPUクラウド
|
|
|---|---|---|---|---|---|---|
| 概要 | ||||||
| Trustpilot評価 | 3.3 | 3.7 | 1.8 | 4.4 | 0 | 4.6 |
| 本社所在地 | United States | Brazil | United States | United States | United States | United States |
| プロバイダータイプ | GPUに特化 | ベアメタル | マルチクラウド | GPUマーケットプレイス | GPU特化型 | 該当なし |
| 最適用途 | AIトレーニング、推論、ファインチューニング、生成AI、リサーチ、LLMサービング、Stable Diffusion | AIトレーニング、推論、ベアメタルGPU、ファインチューニング、研究、専用ワークロード、生成AI | AIトレーニング、推論、ビデオレンダリング、HPC、Stable Diffusion、ゲーム開発、生成AI、ファインチューニング、研究 | AIトレーニング、推論、ファインチューニング、Stable Diffusion、バッチ処理、研究、LLMサービング、生成AI | AIトレーニング、推論、VFXレンダリング、生成AI、ファインチューニング、HPC、Stable Diffusion、研究 | AIトレーニング、推論、ファインチューニング、LLM展開、LLMサービング、コンピュータビジョン、スタートアップ、生成AI、研究 |
| GPUハードウェア | ||||||
| GPUモデル | H100 SXM、A100 SXM、L40S、RTX 4090、RTX 6000 Ada、RTX 5090、RTX 3090 | A30、RTX A5000、RTX A6000、L40S、RTX 6000 Ada、A100 SXM、H100 SXM、GH200、RTX PRO 6000 | A16、A40、L40S、A100 PCIe、GH200、A100 SXM、H100 SXM、B200、B300、MI300X、MI325X、MI355X | B200、H200、H100 SXM、H100 NVL、A100 SXM、A100 PCIe、RTX 5090、RTX 5080、RTX 5070 Ti、RTX 6000 Pro、RTX 6000 Ada、RTX 4500 Ada、RTX A6000、RTX A5000、RTX A4000、L40S、L40、A40、A10、RTX 4090、RTX 4080、RTX 4070 Ti、RTX 4070、RTX 4060 Ti、RTX 4060、RTX 3090 Ti、RTX 3090、RTX 3080 Ti、RTX 3080、RTX 3070 Ti、RTX 3070、Tesla V100、Tesla T4、A2、GTX 1080 | A30、RTX A5000、RTX A6000、L40S、A100 SXM、H100 PCIe、H100 SXM、H100 NVL、RTX PRO 6000、H200 NVL | RTX 4000 Ada、RTX 6000 Ada、L40S、MI300X、H100 SXM、H200 |
| 最大VRAM（GB） | 80 | 96 | 288 | 192 | 141 | 192 |
| インスタンスあたり最大GPU数 | 8 | 8 | 16 | 8 | 8 | 8 |
| インターコネクト | NVLink | NVLink | NVLink | NVLink、InfiniBand | NVLink | NVLink |
| 価格 | ||||||
| 開始価格（$/時） | $0.11/hr | $0.35/hr | $0.47/hr | $0.06/hr | $0.35/hr | $0.76/hr |
| 請求単位 | 秒単位 | 時間単位 | 時間単位 | 秒単位 | 分単位 | 秒単位 |
| スポット/プリエンプティブル | はい | いいえ | はい | はい | いいえ | いいえ |
| 予約割引 | 該当なし | 該当なし | 該当なし | 最大50％割引（1〜6ヶ月予約） | 該当なし | 該当なし |
| 無料クレジット | スタートアップ向け最大10,000ドル | 紹介プログラムで200ドル | 30日間で最大300ドルの無料クレジット | 登録時に少額のテストクレジット付与 | なし | 60日間有効の200ドル無料クレジット |
| 転送料金 | なし（無料） | なし | 標準（プランにより異なる） | ホストによって異なる（$/TB） | なし | なし（プランに含む） |
| ストレージ | コンテナディスク（60GB無料）、ボリュームディスク、ネットワークボリューム | ローカルNVMe込み（最大4台×3.8TB）、ブロックストレージは月額0.10ドル/GB、ファイルシステムストレージは月額0.05ドル/GB | 350 GB～61 TBのNVMe（含む）、ブロックストレージは月額0.10ドル/GB、S3互換オブジェクトストレージ | ホストによって異なる（$/GB/時間、インスタンス存在中に課金） | インスタンスにローカルNVMeを含む | 500～720 GiB NVMeブート（含む）、大容量構成で5 TiB NVMeスクラッチ、ボリュームは月額0.10ドル/GiB |
| インフラストラクチャ | ||||||
| リージョン | 米国、欧州、アジア太平洋、南米、アフリカ、中東（20以上の拠点） | 23拠点：米国（8都市）、ラテンアメリカ（5）、ヨーロッパ（5）、アジア太平洋（4）、メキシコシティ。GPUはダラス、フランクフルト、シドニー、東京に配置 | 6大陸（アメリカ、ヨーロッパ、アジア、オーストラリア、アフリカ）にまたがる32リージョン | 500以上の拠点、40以上のデータセンター | アメリカ合衆国（Tier IIIデータセンター） | ニューヨーク（NYC2）、トロント（TOR1）、アトランタ（ATL1）、リッチモンド（RIC1）、アムステルダム（AMS3） |
| 稼働率SLA | 99.9% | 99.9% | 100% | 正式なSLAなし（ホストの信頼性スコアは表示可能） | Tier III（設計稼働率99.98%） | 99% |
| 開発者体験 | ||||||
| フレームワーク | PyTorch、TensorFlow、CUDA、cuDNN、TensorRT | ML最適化イメージ、PyTorch、TensorFlow（ユーザーインストール）、CUDA | PyTorch、TensorFlow、CUDA、cuDNN、ROCm、Hugging Face、NVIDIA NGC | PyTorch、TensorFlow、CUDA、vLLM、ComfyUI | PyTorch、TensorFlow、CUDA、cuDNN、ComfyUI、事前構成済みMLテンプレート | PyTorch、TensorFlow、Jupyter、Miniconda、CUDA、ROCm、Hugging Face |
| Docker対応 | はい | はい | はい | はい | はい | はい |
| SSHアクセス | はい | はい | はい | はい | はい | はい |
| Jupyterノートブック | はい | いいえ | はい | はい | いいえ | はい |
| API / CLI | はい | はい | はい | はい | はい | はい |
| セットアップ時間 | 該当なし | 秒単位 | 数分 | 秒 | 分 | 分単位 |
| Kubernetesサポート | いいえ | いいえ | はい | いいえ | いいえ | はい |
| ビジネス条件 | ||||||
| 最低利用期間 | なし | なし | なし | なし | なし | なし |
| コンプライアンス | SOC 2 | シングルテナント分離、DPA対応可能 | SOC 2+（HIPAA）、PCI、ISO 27001、ISO 27017、ISO 27018、ISO 20000-1、CSA STAR レベル1 | SOC 2 タイプ2、HIPAA、GDPR、CCPA | SOC 2 タイプII、HIPAA | SOC 2 タイプII、SOC 3、HIPAA（BAA付き）、CSA STAR レベル1 |
ノビタAI
ラティチュード.sh
Vultr
Vast.ai
マストコンピュート
デジタルオーシャン