영구 스토리지를 제공하는 클라우드 GPU 공급자

클라우드 GPU를 임대할 때 영구 스토리지가 의미하는 바

기본적으로 임대한 GPU 인스턴스는 인스턴스와 함께 생성되고 소멸하는 작동 디스크를 제공합니다. 인스턴스를 중지하거나 삭제하거나 선점(preempted) 당하는 순간, 로컬 디스크는 초기화되고 데이터는 사라집니다. 영구 스토리지는 이러한 연결고리를 끊습니다: 이는 단일 GPU 인스턴스의 수명과 독립적인 저장 볼륨으로, 데이터셋, 모델 체크포인트, 콘다 환경, 캐시된 가중치가 셧다운 후에도 유지되며 새로 시작하는 머신에 다시 연결됩니다. 위 비교에 나온 제공업체들은 모두 이러한 형태의 서비스를 제공하지만, 구현 방식이 달라 “예”라는 답변은 시작에 불과합니다.

실제로 영구 스토리지는 두 가지 주요 형태로 나타납니다. 첫 번째는 네트워크 볼륨(블록 또는 파일시스템 스토리지)으로, 제공업체 내부 네트워크를 통해 마운트하며 실행하는 어떤 GPU 노드에도 연결할 수 있습니다. 두 번째는 오브젝트 스토리지(S3 호환 버킷)로, 작업 시작 시 데이터를 가져오고 결과를 다시 푸시합니다. 일부 제공업체는 컴퓨트 라이프사이클과 분리된 빠른 로컬 NVMe 풀에 영구 홈 디렉터리를 유지하기도 합니다. 각각은 처리량, 지연 시간, 그리고 학습 루프에 연결하는 방식에서 매우 다르게 작동합니다.

실제 GPU 워크플로우에서 중요한 이유

영구 스토리지를 필터링하는 이유는 GPU 시간이 비용이 많이 드는 자원이기 때문이며, 데이터를 재다운로드하고 재준비하는 데 낭비하고 싶지 않기 때문입니다. 구체적으로, 다음과 같은 워크플로우에 변화를 줍니다:

• 장기간 학습 및 미세 조정 작업은 수백 스텝마다 체크포인트를 기록합니다. 체크포인트가 일시적 디스크에만 존재하면, 노드가 충돌하거나 선점될 경우 처음부터 다시 시작해야 합니다. 영구 스토리지는 새 GPU에서 마지막 체크포인트부터 재개할 수 있게 합니다.
• 스팟 및 인터럽트 가능한 인스턴스가 실제로 사용 가능해집니다. 저렴한 선점형 GPU의 경제성은 노드를 잃어도 작업을 잃지 않는 데 달려 있는데, 이는 상태가 인스턴스보다 오래 지속되는 볼륨에 저장될 때만 가능합니다.
• 대용량 데이터셋(수백 GB 이상의 이미지, 비디오, 토큰 말뭉치 등)은 매번 시작할 때마다 다시 준비하는 것이 번거롭습니다. 영구 볼륨은 준비되고 분할된 데이터를 보관하여, 매 세션이 긴 복사 작업 없이 몇 초 만에 시작되도록 합니다.
• 반복적 개발은 안정적인 홈 디렉터리 덕분에 이점을 누립니다: 환경, 설치된 패키지, 캐시된 Hugging Face 가중치, 노트북이 컨테이너 이미지를 다시 빌드하지 않고도 다음 날에도 그대로 유지됩니다.
• 추론 서비스는 연결된 스토리지에 모델 가중치를 유지하여, 확장된 복제본이 원격 버킷에서 수십 GB를 가져오는 대신 빠르게 로드되도록 할 수 있습니다.

고려해야 할 트레이드오프

영구 스토리지는 비용이나 불편함이 전혀 없지 않으며, 제공업체 간 차이는 기능 존재 여부보다는 이러한 트레이드오프에서 주로 나타납니다.

• 유휴 시에도 비용이 발생합니다. GPU를 중지하면 컴퓨트 요금은 중단되지만, 영구 볼륨은 GPU 연결 여부와 관계없이 용량(보통 GB-월 단위) 요금이 계속 청구됩니다. 프로젝트 사이에 큰 볼륨을 그대로 두면 조용한 반복 요금이 발생합니다.
• 리전 및 존 고정 네트워크 볼륨은 보통 한 리전 또는 데이터센터에 위치합니다. 원하는 유형의 GPU가 다른 리전에만 있다면 볼륨을 그곳에 연결하지 못할 수 있으며, 마이그레이션 시에는 아웃바운드 트래픽 비용이나 복사 시간이 발생할 수 있습니다.
• 처리량과 지연 시간은 크게 다릅니다. 로컬 NVMe 스크래치는 초당 기가바이트 단위의 속도를 제공할 수 있지만, 네트워크 파일시스템은 훨씬 느리고 데이터 집약적인 학습 루프에서 병목이 될 수 있습니다. 고처리량 데이터 파이프라인에는 이 차이가 용량보다 더 중요합니다.
• 동시성 제한 일부 블록 볼륨은 한 번에 하나의 인스턴스에만 연결할 수 있지만, 공유 파일시스템과 오브젝트 스토리지는 다수의 읽기 작업을 허용합니다. 다중 노드 학습에는 일반적으로 단일 연결 블록 장치가 아닌 공유 파일시스템이나 오브젝트 스토어가 필요합니다.
• 아웃바운드 및 전송 요금 같은 제공업체 리전 내에서 읽는 것은 보통 저렴하지만, 데이터를 노트북이나 다른 클라우드로 가져가면 스토리지 비용보다 훨씬 큰 아웃바운드 요금이 발생할 수 있습니다.

위 비교에서 확인할 사항

위 목록을 영구 스토리지를 지원하는 제공업체의 쇼트리스트로 읽을 때, “예”를 균일한 것으로 간주하지 말고 구체적인 내용을 자세히 살펴보십시오:

1. 볼륨 유형 및 처리량 — 블록, 네트워크 파일시스템, 오브젝트 스토리지 중 무엇인지, 학습 부하 하에서 실제 읽기/쓰기 대역폭은 어느 정도인지
2. 가격 모델 — 볼륨당 GB-월 단위 요금과 GPU가 연결되지 않은 상태에서도 요금이 계속 발생하는지 여부
3. 리전 연동성 — 볼륨을 실제로 필요한 GPU 유형과 리전, 스팟 용량에 연결할 수 있는지
4. 용량 및 제한 사항 — 최대 볼륨 크기, 스냅샷 지원 여부, 다중 노드 간 공유 가능 여부
5. 아웃바운드 조건 — 데이터 이동 비용, 이는 종종 스토리지 비용보다 전체 지출을 더 좌우합니다.

이 답변들을 워크로드에 맞추십시오: 단일 장기 미세 조정은 신뢰할 수 있는 체크포인트 지속성과 재개를 원하고, 대용량 데이터 파이프라인은 원시 처리량을 원하며, 서버리스 또는 자동 확장 추론 플릿은 따뜻한 가중치의 빠른 공유 읽기를 원합니다. 표에서 올바른 제공업체는 영구 스토리지 형태가 주요 패턴에 맞는 곳입니다.

자주 묻는 질문

영구 스토리지는 GPU 인스턴스를 중지해도 내 데이터를 유지합니까?

네 — 그것이 바로 영구 스토리지의 목적입니다. 영구 볼륨은 컴퓨트 인스턴스와 분리되어 있어, GPU 노드를 중지하거나 삭제해도 볼륨과 그 내용은 그대로 유지됩니다. 다음에 시작하는 인스턴스에 다시 연결할 수 있습니다. 단, 볼륨 자체는 GPU가 실행 중이지 않아도 존재하는 동안 용량 요금이 계속 발생한다는 점을 기억하십시오.

영구 스토리지는 GPU 임대 가격에 포함되어 있습니까?

보통 포함되어 있지 않습니다. 시간당 GPU 요금은 컴퓨트와 기본 일시적 디스크를 포함하지만, 영구 볼륨은 보통 GB-월 단위 용량별로 별도 청구됩니다. 총 비용을 추산할 때 스토리지를 별도의 항목으로 간주하고, 위 실시간 비교에서 각 제공업체의 가격 정책을 확인하십시오.

저렴한 스팟 또는 인터럽트 가능한 GPU와 영구 스토리지를 함께 사용할 수 있습니까?

그것이 영구 스토리지를 원하는 가장 좋은 이유 중 하나입니다. 볼륨이 단일 노드보다 오래 지속되므로 스팟 인스턴스에서 선점당해도 작업을 잃지 않고 마지막 체크포인트부터 새 머신에서 재개할 수 있습니다. 제공업체가 해당 GPU가 있는 동일 리전의 스팟 용량에 볼륨 연결을 허용하는지 확인하십시오.

영구 스토리지와 S3 같은 오브젝트 스토리지의 차이는 무엇입니까?

오브젝트 스토리지는 데이터를 영구적으로 저장하는 한 방법이지만, 로컬 디스크처럼 마운트하는 대신 API를 통해 버킷과 오브젝트 단위로 읽고 씁니다. 영구 블록 또는 파일시스템 볼륨은 코드가 직접 읽는 연결된 드라이브처럼 동작합니다. 오브젝트 스토리지는 매우 확장 가능하며 다수 노드 간 공유가 가능하지만, 마운트된 볼륨은 활성 학습 루프에 더 낮은 지연 시간을 제공합니다. 많은 워크플로우는 두 가지를 모두 사용합니다 — 버킷은 차가운 아카이브용, 마운트된 볼륨은 실시간 작업 세트용입니다.