쿠버네티스를 지원하는 클라우드 GPU 제공업체

임대 GPU 컴퓨팅에서 Kubernetes 지원이 의미하는 바

클라우드 GPU 제공업체가 Kubernetes 지원을 광고할 때, 이는 개별 임대 머신에 작업을 직접 배치하는 대신 Kubernetes가 관리하는 컨테이너에 GPU 작업을 예약할 수 있음을 의미합니다. 실제로는 다음과 같은 소규모 구성 요소 스택이 함께 작동하는 것에 달려 있습니다: NVIDIA 디바이스 플러그인 (또는 AMD용 동등한 플러그인), 이는 GPU를 nvidia.com/gpu와 같은 예약 가능한 리소스로 kubelet에 노출합니다; NVIDIA 컨테이너 툴킷으로 구성된 컨테이너 런타임으로 컨테이너가 드라이버를 볼 수 있게 하며; 이미지 내에 드라이버 및 CUDA 버전이 일치해야 합니다. 많은 제공업체는 NVIDIA GPU 오퍼레이터를 통해 이를 패키징하는데, 이는 각 노드에 드라이버, 디바이스 플러그인 및 모니터링을 자동으로 설치하여 사용자가 직접 이미지에 드라이버를 포함할 필요가 없습니다.

위 비교에서 “예”는 두 가지 본질적으로 다른 의미를 가질 수 있으므로, 어떤 것을 제공받는지 아는 것이 중요합니다:

• GPU 노드 풀을 갖춘 관리형 Kubernetes — 제공업체가 제어 플레인을 대신 운영하며 GPU 지원 워커 노드를 추가할 수 있게 해줍니다; 주로 매니페스트를 작성하고 GPU 리소스를 요청합니다.
• 자신의 클러스터에 연결할 수 있는 GPU 인스턴스 — 제공업체가 원시 GPU VM 또는 베어메탈을 제공하며, 사용자가 직접 Kubernetes(또는 k3s 같은 배포판)를 설치하고 운영합니다.

두 경우 모두 합법적인 “Kubernetes 지원”이지만 운영 부담은 매우 다릅니다. 위 비교와 제공업체 문서를 확인하여 제어 플레인이 관리되는지, 아니면 사용자가 책임지는지 확인하세요.

실제 GPU 워크플로우에서 중요한 이유

Kubernetes는 단일 장기 실행 박스가 아닌 오케스트레이션이 필요한 GPU 작업에서 그 가치를 발휘합니다:

• 대규모 추론 서비스 — 서비스 뒤에서 복제본을 자동 확장하고, 다운타임 없이 새 모델 버전을 롤아웃하며, 여러 작은 모델을 공유 노드에 효율적으로 배치합니다. 이것이 GPU에서 Kubernetes를 사용하는 가장 강력한 사례입니다.
• 다중 노드 분산 학습 — Kubeflow 학습 오퍼레이터나 MPI/Volcano 스타일 갱 스케줄링 같은 프레임워크와 오퍼레이터가 여러 GPU 노드에 걸쳐 워커 파드를 조정합니다. 이는 단일 머신에 모델을 담을 수 없거나 더 빠른 실시간 학습이 필요한 경우 중요합니다.
• 배치 및 파이프라인 작업 — 미세 조정 실행, 데이터 전처리 또는 렌더링을 Kubernetes 작업으로 큐잉하며, SSH 세션을 관리하는 대신 재시도와 리소스 할당을 처리합니다.

단일 대화형 노트북이나 하나의 GPU에서 한 번의 미세 조정 실행에는 Kubernetes가 보통 불필요한 오버헤드입니다 — SSH나 Jupyter 엔드포인트가 있는 단순 임대 인스턴스가 더 간단합니다. 여러 작업, 다중 GPU, 자동 복구 및 확장이 필요할 때 그 가치가 나타납니다.

찾아야 할 GPU 공유 및 스케줄링 기능

일반 Kubernetes는 GPU를 나눌 수 없는 정수 단위 리소스로 취급합니다: 파드는 하나 이상의 전체 GPU를 받습니다. 추론 모델이 카드를 완전히 사용하지 않으면 낭비입니다. 제공업체와 클러스터는 GPU를 얼마나 세밀하게 분할할 수 있는지에 따라 차별화됩니다:

• 타임 슬라이싱 — 디바이스 플러그인이 하나의 물리적 GPU를 여러 예약 가능한 단위로 광고하여 여러 파드가 협력적으로 공유할 수 있게 합니다(엄격한 메모리 격리는 없음).
• 멀티 인스턴스 GPU (MIG) — Ampere 세대 이후 데이터센터 카드에서 지원되며, 하나의 GPU를 전용 메모리와 컴퓨팅 분할을 가진 하드웨어 격리 인스턴스로 분할합니다.
• MPS (멀티 프로세스 서비스) — 타임 슬라이싱보다 낮은 오버헤드로 여러 프로세스의 커널이 하나의 GPU에서 동시에 실행되도록 허용합니다.

여러 작은 추론 작업을 적은 수의 카드에 배치할 계획이라면, 제공업체가 어떤 기능을 제공하는지 확인하세요. 이는 실제로 임대해야 하는 GPU 수에 직접적인 영향을 미칩니다.

트레이드오프와 약정 전에 확인할 사항

Kubernetes는 기능을 추가하지만 구성 요소도 늘어납니다. 단순 임대 인스턴스와 비교해 다음을 고려하세요:

• 드라이버 및 CUDA 버전 일치 — 컨테이너 이미지의 CUDA 툴킷이 노드에 설치된 드라이버와 호환되어야 합니다. GPU 오퍼레이터가 이 문제를 완화하지만, 버전 불일치는 예약되었으나 크래시가 발생하는 파드의 가장 흔한 원인입니다.
• 다중 노드 학습용 네트워킹 — 분산 작업은 대역폭에 민감합니다. RDMA/InfiniBand 또는 빠른 노드 간 링크 같은 고속 인터커넥트를 찾고, 제공업체가 관련 CNI 및 디바이스 플러그인을 지원하는지 확인하세요; 일반 파드 네트워킹은 집단 작업에서 병목이 될 수 있습니다.
• 스토리지 — 학습과 체크포인트 저장에는 CSI 드라이버와 영구 볼륨이 필요하며, 이상적으로는 노드 간에 파드가 마운트할 수 있는 빠른 공유 스토리지로 지원되어야 합니다.
• 스팟/인터럽트 가능한 노드 — 작업이 종료를 견딜 수 있다면 저렴한 선점형 GPU 노드는 Kubernetes와 잘 어울립니다; 클러스터가 노드 드레인과 재스케줄링을 원활히 처리하는지 확인하세요.
• 청구 모델 — 파드가 사용 중이든 아니든 기본 GPU 노드에 대한 비용과 관리되는 제어 플레인 비용을 지불해야 합니다. 유휴 GPU 노드는 숨겨진 비용이며, 이를 완화하려면 노드 풀을 0까지 자동 축소하는 기능이 필요합니다.

위 목록을 사용해 Kubernetes 지원 제공업체를 선별한 후, 각 업체 문서에서 디바이스 플러그인 방식, GPU 공유 옵션, 인터커넥트, 제어 플레인 관리 여부를 자세히 확인하세요. 표는 실시간 가용성과 가격을 다루며, 이 차원은 임대하는 GPU에 대해 얼마나 많은 오케스트레이션을 받는지에 관한 것입니다.

자주 묻는 질문

Kubernetes 지원이 GPU 노드에 드라이버가 이미 설치되어 있음을 의미하나요?

대부분 그렇지만 항상 그런 것은 아닙니다. NVIDIA GPU 오퍼레이터나 미리 구축된 GPU 노드 이미지를 제공하는 업체는 드라이버, 컨테이너 툴킷, 디바이스 플러그인을 설치해 줍니다. 다른 업체는 사용자가 직접 설치해야 하는 GPU 노드를 제공합니다. 어떤 모델인지 확인하여 이미지가 사전 설치된 드라이버 버전과 일치해야 하는지 알아두세요.

Kubernetes에서 GPU당 여러 작업을 실행할 수 있나요?

기본적으로는 불가능합니다 — Kubernetes는 전체 GPU를 파드에 할당합니다. 카드를 공유하려면 타임 슬라이싱, MPS 또는 하드웨어 MIG 분할 같은 명시적으로 활성화된 기능이 필요합니다. 여러 작은 모델을 하나의 GPU에 함께 배치할 수 있는지 가정하기 전에 제공업체가 이러한 기능 중 어떤 것을 제공하는지 위 비교를 확인하세요.

단일 GPU 작업에 Kubernetes가 가치가 있나요?

보통 그렇지 않습니다. 하나의 노트북, 하나의 추론 엔드포인트, 하나의 미세 조정 실행에는 SSH나 호스팅된 Jupyter가 있는 단순 임대 인스턴스가 더 간단하고 클러스터 오버헤드를 피할 수 있습니다. Kubernetes는 여러 동시 작업, 다중 GPU 또는 다중 노드 학습, 자동 확장 추론, 자동 재시도 및 롤아웃이 필요할 때 그 가치가 있습니다.

Kubernetes에서 다중 노드 분산 학습을 위해 무엇을 확인해야 하나요?

GPU 노드 간 고속 인터커넥트(RDMA 또는 InfiniBand 등), 모든 워커 파드가 함께 시작되도록 하는 갱/큐 스케줄링 지원, 프레임워크용 학습 오퍼레이터, 데이터셋과 체크포인트용 빠른 공유 스토리지를 확인하세요. 이들이 없으면 분산 작업이 부분 예약을 기다리며 지연되거나 네트워크 및 스토리지 병목 현상이 발생하여 컴퓨팅 성능이 제한됩니다.