스팟 / 선점형 인스턴스를 제공하는 클라우드 GPU 공급자

할인이 존재하는 이유는 데이터 센터가 거의 100% 가동률로 운영되지 않기 때문입니다. 유휴 GPU는 수익을 창출하지 못하므로 공급자는 그 여유 자원을 표준 요금의 일부 가격에 판매하며, 정가 고객이 필요로 하거나 자체 스케줄링 요구가 변경될 때 즉시 회수할 수 있음을 감수합니다. 임차인 입장에서는 표면상의 절감 효과가 실제로 존재하지만, 보장된 온디맨드 노드에서는 요구되지 않는 운영상의 의무가 따릅니다.

실제 워크로드에서 인터럽터블 가격 책정이 중요한 이유

스팟 용량을 이해해야 하는 이유는 GPU 임대 비용이 비싸고, 인터럽터블 인스턴스의 할인이 경제적으로 실행 가능한 프로젝트를 바꿀 만큼 충분히 크기 때문입니다. 단점은 모든 워크로드가 실행 중 중단을 견디지 못한다는 점입니다. 결정적인 요소는 거의 항상 작업이 체크포인트를 얼마나 잘 저장하고 재개하는가입니다.

• 적합한 경우: 몇 분마다 체크포인트를 내구성 저장소에 저장하는 장시간 훈련 및 미세 조정 작업, 대규모 배치 추론 또는 임베딩 작업, 오프라인 렌더링, 개별 실험이 독립적인 하이퍼파라미터 탐색, 그리고 이미 내결함성으로 구축된 모든 파이프라인.
• 부적합한 경우: 실시간 또는 저지연 추론으로 라이브 애플리케이션을 지원하는 경우, 박스를 잃으면 저장하지 않은 작업을 잃게 되는 대화형 개발 세션, 그리고 하나의 노드가 사라졌을 때 정상적으로 복구할 수 없는 긴밀하게 동기화된 다중 GPU 훈련.

정신적 모델은 간단합니다: 인스턴스를 잃었을 때 마지막 체크포인트 이후의 몇 분만 손실된다면 스팟이 거의 항상 올바른 선택입니다. 요청, 고객, 또는 몇 시간 동안 저장하지 않은 상태를 잃는다면 온디맨드 프리미엄이 마음의 평화를 사는 데 그만한 가치가 있습니다.

고려해야 할 절충점

중단은 명백한 비용이지만 유일한 비용은 아닙니다. 이 차원에서 공급자를 비교할 때 전체 상황을 염두에 두십시오:

• 회수 방식: 일부 공급자는 작업이 상태를 저장하고 정상 종료할 수 있도록 짧은 종료 통보(보통 몇 분)를 제공하지만, 다른 곳은 즉시 머신을 회수할 수 있습니다. 유예 기간은 최종 체크포인트를 트리거할 수 있게 해주므로 매우 중요합니다.
• 가용성 변동성: 스팟 풀은 변동합니다. 원하는 GPU가 원하는 가격에 일정 기간 동안 이용 불가능할 수 있으며, 가장 수요가 많은 가속기는 오래되거나 덜 인기 있는 카드보다 더 공격적으로 회수됩니다.
• 인스턴스보다 오래 지속되는 저장소: 체크포인트가 인스턴스의 로컬 디스크에만 있다면 중단 시 모두 삭제됩니다. 스팟은 데이터와 체크포인트가 노드를 넘어 지속되는 영구 또는 네트워크 저장소에 있을 때만 안전하게 작동합니다.
• 재시작 마찰: 회수 후에는 용량을 다시 확보하고 컨테이너 이미지와 데이터를 다시 가져와 재개해야 하므로 콜드 스타트 시간과 이미지 크기가 실제 처리량과 비용에 영향을 미칩니다.

스팟 용량 임대 전 확인 사항

같은 단어라도 공급자마다 의미가 다를 수 있으므로 위 비교를 사용해 구체 사항을 확인하고 가정하지 마십시오. 인터럽터블 인스턴스에 워크로드를 할당하기 전에 다음 체크리스트를 검토하십시오:

• 통보 기간: 공급자가 회수 전에 경고를 제공하는지, 유예 기간은 얼마나 되는지? 30~120초도 체크포인트 설계에 영향을 미칩니다.
• 회수 빈도: 스팟 머신이 실제 용량 압박 시에만 회수되는지, 아니면 정기적인 재조정에도 회수되는지? 빈번하고 저압력의 회수는 절감 효과를 감소시킵니다.
• 체크포인트 저장 방식: 체크포인트를 내구성 있는 객체 저장소나 네트워크 저장소에 저렴하게 쓸 수 있는지, 그리고 이를 복구하는 데 드는 비용이 합리적인지? 이것이 안전한 스팟 사용의 가장 중요한 요소입니다.
• 자동 재획득: 용량이 복귀했을 때 플랫폼이 자동으로 작업을 재대기열하고 재시작하는지, 아니면 직접 스크립트를 작성해야 하는지? 관리되는 재대기열은 스팟 사용을 훨씬 덜 번거롭게 만듭니다.
• 다중 GPU 및 다중 노드 동작: 여러 GPU가 함께 필요하다면 하나를 잃으면 전체 작업이 중단될 수 있습니다. 공급자가 그룹을 원자적으로 유지하는지, 아니면 단일 GPU 스팟만 제공하는지 확인하십시오.
• 청구 단위: 초 단위 또는 분 단위 청구는 스팟과 잘 맞습니다. 회수 전에 실제로 실행한 시간만 지불하고 올림하지 않기 때문입니다.

많은 팀이 채택하는 실용적인 패턴은 하이브리드 구성입니다: 대부분의 처리량 중심, 체크포인트 가능한 작업은 스팟에서 실행하여 할인을 받고, 지연 시간에 민감하거나 상태가 중요한 작업은 소규모 온디맨드 인스턴스를 유지합니다. 이 조합은 중단을 견딜 수 없는 파이프라인 부분을 노출하지 않으면서 대부분의 절감을 실현합니다.

자주 묻는 질문

스팟 GPU 인스턴스가 회수되면 작업이 손실되나요?

회수 시점에 인스턴스에만 존재하는 상태는 모두 손실됩니다 — 저장하지 않은 진행 상황과 로컬 전용 디스크에 있는 모든 데이터 포함. 이미 내구성 저장소나 네트워크 저장소에 기록한 작업은 손실되지 않습니다. 이 때문에 내구성 저장소에 자주 체크포인트를 저장하는 것이 스팟 용량을 안전하게 사용하는 핵심 원칙이며, 좋은 체크포인트를 사용하면 마지막 저장 이후 몇 분 정도만 손실됩니다.

스팟과 온디맨드 인스턴스의 GPU 하드웨어가 다른가요?

아닙니다. 스팟과 온디맨드 인스턴스는 동일한 물리적 하드웨어를 사용하므로 GPU, VRAM, 텐서 코어, 인터커넥트가 동일합니다. 차이는 가용성과 가격에 관한 계약 조건뿐입니다: 스팟은 저렴하지만 중단 가능하며, 온디맨드는 더 비싸고 회수되지 않습니다. 즉, 빠른 실리콘이 아니라 보장된 연속성에 비용을 지불하는 것입니다.

스팟 인스턴스가 온디맨드 대비 얼마나 절감할 수 있나요?

할인은 일반적으로 상당하며 인터럽터블 용량을 선택하는 주된 이유입니다. 하지만 정확한 수치는 공급자, GPU 모델, 지역, 현재 수요에 따라 다르며 지속적으로 변동합니다. 단일 숫자에 의존하지 말고, 위의 실시간 비교를 확인하여 원하는 특정 GPU의 현재 스팟과 온디맨드 가격 차이를 확인하십시오.

어떤 워크로드는 스팟 인스턴스에서 절대 실행하면 안 되나요?

갑작스러운 사라짐을 견딜 수 없는 작업에는 스팟을 피하십시오: 라이브 애플리케이션 뒤의 실시간 저지연 추론, 저장하지 않은 작업을 가진 대화형 세션, 하나의 노드 손실 시 복구할 수 없는 긴밀한 다중 GPU 작업. 이런 경우 온디맨드 프리미엄이 그만한 가치가 있습니다. 반면, 체크포인트를 잘 저장하고 재시작을 견디는 훈련, 미세 조정, 배치 추론, 렌더링, 탐색 작업은 스팟에 적합합니다.