다중 노드 GPU 클러스터를 지원하는 클라우드 GPU 제공업체

컴퓨팅 임대 시 멀티 노드 GPU 클러스터가 의미하는 바

멀티 노드 설정은 하나의 작업이 여러 대의 물리적 서버에 걸쳐 실행되는 경우를 말하며, 각 서버 내 GPU들은 고속 네트워크 패브릭을 통해 다른 서버의 GPU와 연결됩니다. 단일 노드는 일반적으로 하나의 메인보드에 4개 또는 8개의 GPU가 탑재되어 NVLink 또는 PCIe로 내부 연결됩니다. 모델, 데이터셋 또는 시뮬레이션이 8개의 GPU와 그들의 통합 메모리가 감당할 수 있는 범위를 초과하면, 단일 노드 내에서 확장하는 대신 노드 간에 수평 확장을 해야 합니다. 이 필터에서 “예” 값은 사용자가 서로 연결된 클러스터를 하나의 단위로 임대하고 관리할 수 있도록 허용하는 제공업체를 표시하며, 사용자가 직접 개별 서버를 연결해야 하는 경우와는 다릅니다.

이 구분이 중요한 이유는 노드 간 통신이 분산 학습과 대규모 HPC에서 병목 현상이기 때문입니다. 그래디언트, 활성화, 파라미터 조각들이 매 학습 단계마다 수천 번 서버 간에 이동해야 하며, 이 이동 속도가 더 많은 GPU를 추가하는 것이 작업을 실제로 빠르게 하는지 아니면 단순히 비용만 증가시키는지를 결정합니다.

인터커넥트가 진정한 제품인 이유

멀티 노드 클러스터를 임대할 때 실제로 임대하는 것은 GPU만큼이나 노드 간 네트워크입니다. 관련 패브릭은 성능 면에서 크게 다릅니다:

• 인피니밴드(InfiniBand)는 AI 학습 클러스터의 고급 표준으로, 포트당 매우 높은 대역폭과, 특히 RDMA(원격 직접 메모리 접근)를 제공하여 한 GPU가 CPU 개입 없이 다른 노드의 메모리를 직접 읽을 수 있습니다.
• RoCE(RDMA over Converged Ethernet)는 RDMA 스타일 동작을 이더넷 하드웨어에 제공하며, 분산 워크로드에 최적화된 클라우드 패브릭에서 흔히 사용됩니다.
• 일반 TCP/IP 이더넷은 느슨하게 결합된 작업에는 적합하지만, 지연 시간과 CPU 오버헤드가 증가하여 엄격하게 동기화된 학습 효율성을 크게 저하시킵니다.
• GPUDirect RDMA는 네트워크 카드가 시스템 RAM을 거치지 않고 직접 GPU 메모리로 데이터를 이동할 수 있게 하여 대규모 올리듀스(all-reduce) 작업의 확장성을 가능하게 합니다.

동일한 GPU를 가진 두 클러스터가 동일한 학습 작업에서 매우 다른 처리량을 보일 수 있는 이유는 하나는 비차단 인피니밴드와 GPUDirect를 사용하고 다른 하나는 혼잡한 이더넷을 통해 트래픽을 라우팅하기 때문입니다. 따라서 위 비교는 단순히 GPU 수를 세는 것보다 네트워킹 측면에서 주의 깊게 읽어볼 가치가 있습니다.

원시 GPU 수가 아니라 확장 효율성

궁극적으로 중요한 수치는 확장 효율성입니다: 두 노드가 단일 노드 대비 1.9배의 처리량을 제공하면 훌륭한 것이고, 1.2배에 불과하면 추가 하드웨어가 대부분 통신 오버헤드에 낭비된 것입니다. 매 단계마다 엄격하게 동기화되는 작업 — 대규모 모델 사전 학습, 모델 병렬 및 파이프라인 병렬 작업 — 은 약한 패브릭에서 가장 큰 페널티를 받습니다. 독립적인 추론 작업이나 하이퍼파라미터 탐색과 같은 완전히 병렬화된 작업은 노드 간 통신이 거의 없기 때문에 느린 인터커넥트를 견딜 수 있습니다.

멀티 노드가 실제로 열어주는 것

서로 연결된 클러스터를 임대하는 것이 다음과 같은 작업을 실용적으로 만듭니다:

• 대규모 모델 학습 — 모델의 파라미터, 옵티마이저 상태, 그래디언트가 단일 노드의 통합 GPU 메모리에 맞지 않아 텐서 병렬, 파이프라인 병렬 또는 완전 분할 데이터 병렬 처리를 통해 여러 GPU에 분산되어야 하는 경우.
• 대규모 분산 데이터 병렬 학습 — 수십 또는 수백 개의 GPU에 모델을 복제하여 실제 학습 시간을 단축하는 경우.
• 엄격하게 결합된 HPC 및 과학 시뮬레이션 — 유체 역학, 분자 모델링, 기상 등 매 반복마다 MPI를 사용해 클러스터 간 데이터를 교환하는 작업.
• 대규모 배치 추론 또는 렌더링 팜 — 작업을 여러 머신에 분산하지만, 이 경우 패브릭에 대한 중요도는 낮습니다.

작업이 단일 8 GPU 노드 내에 충분히 맞는다면, 멀티 노드는 보통 과잉 투자입니다 — 관리 복잡성과 네트워크 오버헤드 위험만 감수하고 이득은 없습니다. 메모리 용량이나 학습 시간이 진정으로 확장을 요구할 때만 수평 확장을 하십시오.

클러스터 임대 전에 확인할 사항

“예” 태그는 제공업체가 멀티 노드를 지원함을 알려주지만, 지원 품질은 매우 다양합니다. 계약 전에 다음 항목들을 위 목록과 비교해 보십시오:

• 패브릭 유형 및 노드당 대역폭 — 인피니밴드, RoCE, 일반 이더넷 중 무엇이며 RDMA / GPUDirect가 가능한가?
• 토폴로지 및 근접성 — 노드들이 같은 랙 또는 포드 내에 비차단 대역폭으로 밀집되어 있는가, 아니면 지연 시간이 크게 늘어나는 지역에 흩어져 있는가?
• 오케스트레이션 — 제공업체가 네트워크 드라이버와 NCCL이 구성된 Slurm 또는 Kubernetes 클러스터를 바로 제공하는가, 아니면 사용자가 직접 연결해야 하는 원시 VM만 제공하는가?
• 프로비저닝 모델 — 전체 클러스터를 즉시 사용할 수 있는가, 아니면 대규모 연속 블록이 희소하여 예약 용량과 대기 목록을 통해서만 가능한가?
• 전체 작업에 대한 청구 — 실행 시간 동안 모든 노드에 대해 비용을 지불하므로, 확장 효율성을 떨어뜨리는 패브릭은 실제 비용을 직접 증가시킵니다.
• 공유 고속 스토리지 — 분산 작업은 모든 노드가 빠르게 읽을 수 있는 병렬 파일 시스템이 필요하며, 그렇지 않으면 데이터 로딩이 병목이 됩니다.

연속된 멀티 노드 용량은 단일 인스턴스보다 구하기 어려워서, 가용성과 즉시 사용 가능 여부가 시간당 요금보다 더 중요할 때가 많습니다. 위 비교를 현재 가격과 용량 확인에 활용하고, GPU 수만이 아니라 네트워킹과 오케스트레이션 품질을 함께 고려하십시오.

자주 묻는 질문

언제 단일 서버 대신 멀티 노드가 실제로 필요한가요?

작업이 더 이상 단일 노드의 GPU 수나 통합 메모리에 맞지 않을 때 필요합니다 — 일반적으로 대규모 모델 학습, 분할된 미세 조정, 엄격히 결합된 HPC 작업입니다. 모델과 배치가 4개 또는 8개 GPU 박스 내에 맞으면 단일 노드가 더 간단하고 저렴하며 노드 간 오버헤드를 완전히 피할 수 있습니다.

멀티 노드가 자동으로 학습 속도를 높이나요?

자동으로 그렇지 않습니다. 속도 향상은 확장 효율성에 달려 있으며, 이는 인터커넥트에 의해 좌우됩니다. 빠른 인피니밴드 또는 RoCE와 RDMA가 있으면 잘 최적화된 작업에서 거의 선형 확장에 근접할 수 있지만, 일반 이더넷에서는 통신 오버헤드가 대부분의 이득을 잠식하여 추가 노드가 비용만 증가시키고 학습 시간을 비례해서 줄이지 못할 수 있습니다.

위 비교에서 어떤 네트워크 패브릭을 찾아야 하나요?

엄격하게 동기화된 학습에는 GPUDirect RDMA가 지원되는 인피니밴드 또는 RoCE와 노드가 밀집된 비차단 토폴로지를 우선시하십시오. 독립적인 추론 작업이나 파라미터 탐색과 같은 느슨하게 결합된 작업에는 일반 고대역폭 이더넷으로도 충분하므로 가격과 가용성을 우선할 수 있습니다.

왜 멀티 노드 용량은 즉시 임대하기 어려운 경우가 많나요?

멀티 노드 클러스터는 물리적으로 가까이 위치하고 동일한 저지연 패브릭에 연결된 대규모 연속 GPU 블록이 필요합니다. 이러한 용량은 흩어진 단일 인스턴스보다 희소하여 제공업체가 예약 또는 대기 목록 뒤에 숨기는 경우가 많습니다. 요금뿐 아니라 위 목록의 가용성과 프로비저닝 조건을 확인하십시오.