NVLink 또는 InfiniBand를 지원하는 클라우드 GPU 제공업체

멀티 GPU 컴퓨팅을 임대할 때 NVLink와 InfiniBand가 실제로 하는 일

NVLink와 InfiniBand는 머신의 두 가지 다른 측면에서 동일한 근본적인 문제를 해결합니다: 가속기가 대기하지 않고 계산에 집중할 수 있도록 GPU 간 데이터를 충분히 빠르게 이동시키는 것입니다. 위 필터는 이 두 인터커넥트 중 하나 또는 둘 다를 제공하는 클라우드 인스턴스로 목록을 좁힙니다. 이들은 상호 교환 가능하지 않습니다 — 하나는 단일 서버 내 GPU를 연결하는 노드 내 패브릭이고, 다른 하나는 서버들을 클러스터로 연결하는 노드 간 패브릭입니다. 두 개 이상의 GPU를 사용하는 워크로드에서는 인터커넥트가 거의 선형 확장과 GPU를 추가해도 거의 도움이 되지 않는 설정을 구분하는 중요한 요소입니다.

NVLink: 한 박스 내 GPU 간 빠른 통로

NVLink는 NVIDIA의 직접 GPU 간 연결입니다. 트래픽을 호스트 PCIe 버스와 CPU를 통해 라우팅하는 대신 NVLink는 GPU들을 서로 연결하며(일부 플랫폼에서는 NVSwitch 크로스바를 통해) 노드 내 모든 GPU가 고대역폭과 낮은 지연으로 서로 통신할 수 있게 합니다. NVLink가 장착된 인스턴스를 임대할 때의 실제 효과는 다음과 같습니다:

• PCIe 전용 노드보다 훨씬 높은 GPU 간 대역폭 — 매 스텝마다 그래디언트, 활성화 또는 모델 샤드를 교환해야 할 때 중요합니다.
• GPU 간 풀링된 메모리 — 한 GPU의 VRAM에 맞지 않는 큰 모델을 NVLink 도메인 내에서 분할할 수 있으며, 교차 GPU 트래픽이 PCIe를 거치지 않고 빠른 패브릭 내에서 유지됩니다.
• 집단 연산(예: all-reduce)에 대한 낮은 동기화 오버헤드 — 데이터 병렬 훈련에서 주로 발생합니다.

NVLink는 단일 노드 내에 존재하므로 범위는 일반적으로 서버 설계에 따라 2, 4 또는 8 GPU입니다. 위 목록에서 “NVLink가 있는 8-GPU 노드”를 광고한다면, 이는 그 8개의 카드가 밀접하게 연결되어 있다는 의미입니다. 해당 노드가 다른 노드와 어떻게 연결되는지에 대해서는 별도로 언급하지 않습니다.

InfiniBand: 여러 서버를 하나의 클러스터로 만드는 패브릭

InfiniBand는 별도의 GPU 서버를 연결하는 네트워킹 기술입니다. 훈련 작업이 단일 노드를 초과하면 병목 현상은 박스 내부에서 박스 간으로 이동하며, 일반 이더넷 네트워킹은 GPU를 지연시킬 수 있습니다. InfiniBand는 매우 높은 링크당 처리량, 낮고 예측 가능한 지연 시간, 그리고 RDMA (원격 직접 메모리 접근)을 제공하여 한 서버가 다른 서버의 메모리를 CPU 개입 없이 읽거나 쓸 수 있게 합니다. GPUDirect RDMA와 결합하면 데이터가 노드 간 GPU에서 GPU로 호스트 메모리 복사를 거의 거치지 않고 이동할 수 있습니다.

멀티 노드 훈련에서 이것이 확장 효율성을 유지하는 핵심입니다. 예를 들어 수십 또는 수백 개의 GPU 클러스터가 큰 모델을 합리적인 시간 내에 훈련할 수 있는 이유는 노드 간 패브릭이 알고리즘이 요구하는 집단 통신을 따라가기 때문입니다. 일반 네트워킹으로 떨어지면 동일한 작업이 네트워크 대기 시간에 많은 시간을 소비할 수 있습니다.

어떤 워크로드가 실제로 이것을 필요로 하는가

NVLink 또는 InfiniBand를 필터링하는 것은 통신이 단순한 계산뿐만 아니라 중요한 경로에 있을 때 의미가 있습니다:

• 큰 모델 훈련 및 미세 조정 — 파라미터, 옵티마이저 상태 또는 레이어를 GPU 간에 샤딩하는 경우(텐서, 파이프라인 또는 완전 샤딩 데이터 병렬성) — 이러한 방식은 지속적인 교차 GPU 트래픽을 생성하며 노드 내에서는 NVLink, 노드 간에는 InfiniBand의 혜택을 가장 많이 받습니다.
• 멀티 노드 분산 훈련 — 작업이 단일 서버에 맞지 않는 경우, 여기서 InfiniBand가 확장 효율성의 결정적 요소입니다.
• 고성능 컴퓨팅(HPC) 및 과학 시뮬레이션 — 긴밀한 프로세스 간 통신이 필요하며, 수년간 InfiniBand와 RDMA에 의존해 왔습니다.
• 대규모 컨텍스트 또는 대형 모델 추론 — 단일 모델을 여러 GPU에 분할하는 경우, NVLink가 교차 GPU 어텐션과 가중치 접근의 지연 시간을 줄여줍니다.

단일 GPU 작업에는 사실 과도한 기술입니다. 작은 모델 미세 조정, 한 카드에 맞는 배치 추론, 대부분의 렌더링 작업, 실험 등은 독립형 GPU에서 충분히 잘 실행됩니다. 작업이 GPU 경계를 넘지 않는다면 밀접하게 연결된 노드나 InfiniBand 클러스터에 프리미엄을 지불하는 것은 이득이 없습니다.

임대 전에 확인할 사항

두 인터커넥트는 마케팅 문구에서 자주 혼동되므로 위 비교와 대조하여 구체 사항을 확인하십시오:

• 범위 — 목록이 NVLink(노드 내 GPU 연결)를 의미하는지 InfiniBand(노드 간 네트워킹)를 의미하는지 확인하세요. 단일 노드 인스턴스는 NVLink만 있고 InfiniBand가 전혀 없을 수 있습니다.
• 토폴로지 및 대역폭 — NVLink 도메인에 몇 개의 GPU가 포함되는지(전체 NVSwitch 올투올 대 부분 브리지), InfiniBand 링크 속도 및 RDMA/GPUDirect 활성화 여부.
• 세대 — 최신 GPU 세대는 더 높은 대역폭 NVLink를 지원합니다; 단순히 “NVLink” 라벨만으로 속도를 알 수 없습니다.
• 멀티 노드 가용성 — 실제로 여러 상호 연결된 노드를 예약할 수 있는지, 그리고 노드들이 데이터 센터에 흩어져 있지 않고 같은 패브릭에 배치되는지 여부.
• 소프트웨어 지원 — NCCL, MPI 및 사용 중인 프레임워크가 패브릭을 인식하고 사용하는지; 잘못 구성되면 조용히 느린 경로로 대체됩니다.

비용과 가용성 측면에서 인터커넥트가 풍부한 인스턴스는 스펙트럼의 상위권에 위치합니다. NVLink가 장착된 멀티 GPU 노드와 InfiniBand로 연결된 클러스터는 프리미엄 하드웨어를 사용하며 수요가 꾸준하여 온디맨드 용량이 더 제한적이고 스팟 또는 인터럽트 가능 옵션이 단일 범용 GPU보다 적습니다. 특히 멀티 노드 InfiniBand 할당은 종종 제한되거나 예약되거나 더 큰 단위로 판매됩니다. 위 표의 가격은 실시간 참조로 간주하세요. 요금은 공급자마다 다르고 변동됩니다.

자주 묻는 질문

NVLink와 InfiniBand 둘 다 필요한가요?

규모에 따라 다릅니다. 단일 노드 멀티 GPU 작업에는 NVLink만 필요합니다. 훈련이 여러 서버에 걸치면 그 노드들을 연결하는 InfiniBand도 필요합니다 — 두 기술은 서로 다른 계층에서 작동하므로 큰 클러스터는 일반적으로 각 박스 내에서는 NVLink, 박스 간에는 InfiniBand에 의존합니다.

내 단일 GPU 작업이 NVLink 또는 InfiniBand 인스턴스에서 더 빨리 실행되나요?

아니요. 두 인터커넥트 모두 데이터가 GPU 간 또는 노드 간에 이동할 때만 중요합니다. 한 GPU에 맞는 작업은 어느 패브릭도 사용하지 않으므로 사용하지 않는 용량에 대해 프리미엄을 지불하는 셈입니다. GPU를 확장할 때만 이 옵션을 필터링하세요.

왜 대규모 훈련 작업에서 GPU별 사양보다 인터커넥트가 더 중요한가요?

분산 훈련은 각 스텝의 많은 부분을 그래디언트와 활성화를 교환하는 데 사용합니다. 패브릭이 속도를 따라가지 못하면 GPU가 동기화를 기다리며 유휴 상태가 되고, GPU를 더 추가해도 효율이 떨어집니다. 빠른 인터커넥트가 가속기를 추가할 때 거의 선형 확장을 유지하는 핵심입니다.

모든 멀티 GPU 인스턴스에 NVLink가 있나요?

아니요. 일부 멀티 GPU 노드는 PCIe만으로 카드를 연결하며, 이는 GPU 간 대역폭이 훨씬 낮습니다. 여러 GPU가 있다고 해서 NVLink가 보장되는 것은 아니므로, GPU 수로 추정하지 말고 위 비교에서 인터커넥트를 명확히 확인하세요.