NVIDIA H100을 탑재한 최고의 클라우드 GPU 제공업체

NVIDIA H100이 실제로 무엇인지

H100은 NVIDIA의 데이터 센터 가속기로, Hopper 아키텍처를 기반으로 하며, 이는 이전 세대인 Ampere A100과 최신 세대인 Blackwell 부품 사이에 위치합니다. 대규모 모델 학습이나 높은 처리량의 추론이 필요할 때 대부분의 팀이 선택하는 GPU입니다. 위 비교에서 H100 인스턴스를 임대할 경우, 게임용 GPU를 재활용한 것이 아니라 목적에 맞게 설계된 AI 가속기를 임대하는 것이며, 이는 성능과 비용 모두에 영향을 미칩니다.

임차인에게 중요한 주요 하드웨어 특성:

• 메모리: SXM5 변형은 80GB의 HBM3를 탑재하고 있으며, PCIe 변형은 주력 제품에서 80GB의 HBM2e를 사용합니다. 이후 리프레시된 H100 NVL은 카드당 용량을 증가시켰습니다. 크고 빠른 HBM은 GDDR6 기반 옵션보다 이 카드를 선택하는 가장 큰 이유입니다.
• 메모리 대역폭: SXM5 제품의 HBM3는 약 3TB/s를 제공하여 소비자용 GDDR6/GDDR6X 카드보다 훨씬 높습니다. 대역폭은 원시 FLOPs보다 대형 트랜스포머 레이어에 필수적인 요소입니다.
• 텐서 코어 및 정밀도: 4세대 텐서 코어는 FP16, BF16, TF32, INT8을 지원하며, Hopper에서 새롭게 도입된 FP8도 지원합니다. FP8은 최신 대형 언어 모델(LLM) 작업에서 핵심 기능으로, 지원되는 커널에서 FP16 대비 처리량을 약 두 배로 늘리면서 적절한 스케일링으로 정확도를 유지합니다.
• 트랜스포머 엔진: Hopper는 FP8 하드웨어와 각 레이어별로 정밀도를 동적으로 관리하는 소프트웨어를 결합하여, 동일 모델에서 이전 세대 대비 트랜스포머 학습 및 추론 처리량을 크게 향상시킵니다.
• 인터커넥트: SXM5 보드는 4세대 NVLink 및 NVSwitch를 사용하여 노드 내 GPU 간 고대역폭 연결을 제공하며, PCIe 카드는 PCIe 버스를 사용하고 일부 변형에서는 선택적 NVLink 브리지를 지원합니다. 이 차이는 다중 GPU 작업에서 매우 중요합니다.
• 전력 등급: SXM5 카드는 8-GPU 서버 섀시에 약 700W의 전력을 소모하며, PCIe 카드는 약 350W로 낮습니다. 임대 시 전기 요금을 직접 지불하지는 않지만, 이로 인해 인스턴스가 밀집되고 발열이 높으며 가격이 그에 맞게 책정됩니다.

H100이 진정으로 적합한 작업 유형

H100은 메모리 대역폭이 제한적이고 처리량이 많은 작업에 적합합니다. 다음과 같은 작업에 강력한 성능을 발휘합니다:

• 대규모 모델 학습 및 미세 조정: 80GB HBM 덕분에 GPU당 더 큰 배치와 더 큰 파라미터 샤드를 처리할 수 있으며, NVLink는 데이터 및 텐서 병렬 학습에서 다중 GPU 및 다중 노드 확장을 효율적으로 만듭니다.
• 고처리량 LLM 추론: FP8과 트랜스포머 엔진 덕분에 대형 언어 모델을 높은 요청량으로 서비스할 때 토큰당 비용 대비 초당 처리량이 우수합니다.
• 중대형 모델의 미세 조정: 수십억 파라미터 모델에 대한 전체 미세 조정 및 파라미터 효율적 방법이 VRAM이 적은 카드에서 강제되는 공격적인 오프로드 없이 편안하게 수행됩니다.
• 과학 및 고성능 컴퓨팅(HPC): 소비자용 카드와 달리 FP64 처리량이 강력하여 AI뿐만 아니라 시뮬레이션 및 수치 계산 작업에도 적합합니다.

작은 모델 실험, 경량 추론, 전통적인 머신러닝, 노트북 작업 및 대부분의 렌더링 또는 시각화 작업에는 과도한 성능입니다 — 이러한 작업은 훨씬 저렴한 카드로도 충분히 수행 가능하며, 이들 작업에 H100을 임대하는 것은 대부분 비용 낭비입니다. 단일 노드 작업에서는 거의 성능 부족이 발생하지 않으며, 팀들이 H100을 넘어서게 되는 주요 이유는 단일 노드 카드가 제공하는 메모리 용량을 초과하거나 최신 세대의 효율성 향상을 원하기 때문입니다.

SXM과 PCIe — 임대하는 변형이 중요합니다

임대 시 가장 간과되는 세부사항입니다. SXM5 보드는 더 높은 대역폭, 완전한 NVLink/NVSwitch 패브릭, 더 높은 지속 클럭을 제공하여 진지한 다중 GPU 학습에 거의 항상 사용됩니다. PCIe 카드는 호스팅 비용이 저렴하고 단일 GPU 추론이나 소규모 작업에 적합하지만, GPU 간 연결 속도가 느립니다. 위 목록에 변형이 명시되어 있지 않으면 다중 GPU 학습 실행 전에 반드시 확인해야 합니다.

임대 비용, 가용성 및 희소성

클라우드 GPU 비용 스펙트럼에서 H100은 A100보다 높고 RTX 4090 같은 소비자 카드보다 훨씬 비싼 상위권에 위치하지만, 최신 Blackwell급 하드웨어에 의해 절대 최고 자리는 내어주었습니다. 정확한 요금은 공급자, 지역, 계약 기간, 변형에 따라 지속적으로 변동하므로, 고정된 수치를 신뢰하기보다는 위 비교에서 실시간 가격을 확인하는 것이 좋습니다. 몇 가지 정성적 사항은 변하지 않습니다:

• 온디맨드 vs 스팟: 중단 가능하거나 스팟 H100 용량은 온디맨드보다 훨씬 저렴할 수 있으며, 체크포인트가 있는 학습과 내결함성 배치 추론에 적합하지만, 체크포인트가 없는 긴 단일 작업에는 위험합니다.
• 희소성: H100 공급은 역사적으로 부족했기 때문에 가용성 — 가격뿐 아니라 — 은 지역과 공급자에 따라 다릅니다. 가장 저렴한 목록이라도 해당 지역에서 용량이 매진되면 무용지물입니다.
• GPU 단위 vs 전체 노드: 많은 공급자가 단일 H100을 임대하지만, 최고의 다중 GPU 성능은 8-GPU NVLink 전체 노드에서 나오므로, 부분, 단일, 전체 노드 접근 중 어느 것을 제공하는지 확인하세요.
• 청구 단위: 초 단위 또는 분 단위 청구는 짧은 미세 조정과 간헐적 추론에 유리하며, 시간 단위 최소 청구는 긴 작업에 적합합니다. 작업 유형에 맞게 모델을 선택하세요.

자주 묻는 질문

클라우드 H100의 VRAM 용량은 얼마인가요?

주력 H100은 80GB의 고대역폭 메모리를 탑재하고 있으며, SXM5 변형은 HBM3, PCIe 변형은 HBM2e를 사용합니다. 이후 출시된 H100 NVL은 카드당 용량을 늘렸습니다. 오프로드 없이 실행할 수 있는 최대 모델 및 배치 크기를 결정하므로, 위 목록에서 정확한 변형과 메모리 용량을 항상 확인하세요.

A100보다 H100을 임대하는 것이 가치 있나요?

트랜스포머 학습 및 추론에는 보통 그렇습니다: Hopper의 FP8 지원과 트랜스포머 엔진은 Ampere A100 대비 GPU당 처리량을 크게 향상시켜, 토큰당 또는 스텝당 비용 기준으로 더 높은 시간당 요금을 상쇄할 수 있습니다. FP8을 활용하지 않는 소규모 또는 메모리 경량 작업에는 더 저렴한 A100이나 소비자 카드가 더 나은 선택일 수 있습니다.

SXM5와 PCIe H100 중 어느 것을 선택해야 하나요?

다중 GPU 학습 및 밀접한 분산 작업에는 NVLink/NVSwitch 패브릭과 더 높은 대역폭을 제공하는 SXM5를 선택하세요. PCIe는 단일 GPU 추론이나 소규모 작업에 적합하고 종종 더 저렴합니다. 변형이 명시되어 있지 않으면 다중 GPU 실행 전에 반드시 문의하세요.

스팟 또는 중단 가능한 H100 인스턴스로 비용을 절감할 수 있나요?

네, 중단 가능한 용량은 일반적으로 온디맨드보다 훨씬 저렴하며, 자주 체크포인트를 사용하는 학습이나 재시작을 허용하는 배치 추론에 적합합니다. 체크포인트가 없는 긴 작업에는 중간에 종료되면 수 시간의 유료 컴퓨팅이 낭비될 수 있으므로 피하세요. 위 표에서 두 가지 가격 모드를 비교해 보세요.