연구 및 실험을 위한 최고의 클라우드 GPU

연구 및 실험이 실제로 임대 GPU에 요구하는 것

연구 및 실험은 생산용 훈련이나 서비스와 근본적으로 다른 작업 부하이며, 위의 비교는 이러한 차이를 고려하여 필터링되었습니다. 연구 워크플로우는 반복이 지배적입니다: 가설을 테스트하기 위해 인스턴스를 시작하고, 수십 개의 짧은 작업을 실행한 후, 하이퍼파라미터나 데이터 로딩 경로를 변경하고, 모든 것을 종료합니다. 지배적인 비용은 단일 다주간 훈련 실행이 아니라 사람이 개입하는 여러 번의 간헐적이고 상호작용적인 세션의 합계입니다. 이것이 목록을 읽을 때 중요하게 여겨야 할 점을 형성합니다.

실험이 탐색적이기 때문에, 임대의 가장 중요한 속성은 보통 다음과 같습니다:

• 세밀한 청구 단위로 20분 디버깅 세션이 전체 1시간 비용이 되지 않도록 하고, 점심 시간 동안 열어 둔 유휴 노트북도 저렴하게 용서할 수 있어야 합니다.
• 빠른 프로비저닝 및 종료로 하루에 여러 번 인스턴스를 시작하고 종료할 수 있어야 합니다.
• Jupyter, SSH 또는 호스팅 노트북을 통한 상호작용적 접근이 필요합니다. 텐서를 검사하고, 곡선을 그리며, 코드를 단계별로 실행하기 때문이지, 배치 작업을 제출하고 떠나는 것이 아닙니다.
• 유연한 중간 범위 VRAM이 필요합니다. 대부분의 연구는 멀티 노드 클러스터가 필요하지 않고 하나의 카드에 모델, 배치, 옵티마이저 상태를 맞출 수 있기 때문입니다.

위의 비교를 이러한 요구 사항에 비추어 먼저 읽어보십시오. 초당 청구되고 30초 내에 시작되는 약간 느린 카드가, 시간 단위로 청구되고 긴 대기열이 있는 더 빠른 카드보다 더 나은 연구 도구인 경우가 많습니다.

실험에 맞는 하드웨어 등급 선택

연구 예산에서 반복되는 실수 중 하나는 절대 포화되지 않는 작업에 플래그십 데이터센터 가속기를 임대하는 것입니다. 실험은 매우 다양한 범위를 포함하며, 적절한 등급은 실제로 무엇을 탐구하는지에 달려 있습니다.

소규모 및 프로토타이핑 작업

아키텍처 스케치, 훈련 루프 디버깅, 축소 규모 논문 재현, 고전적인 ML 및 소형 트랜스포머 실행에는 대략 16~24GB 메모리를 가진 중간 등급 카드가 자주 충분합니다. 이 인스턴스들은 저렴한 범위에 위치하며 보통 충분히 많고, 예산을 낭비하지 않고 빠르게 실패할 수 있게 해줍니다. 또한 FP16, BF16과 같은 최신 축소 정밀도를 지원하여, 이후 더 큰 하드웨어로 변경 없이 이동할 혼합 정밀도 코드를 프로토타이핑할 수 있습니다.

메모리 제약 탐색

연구가 더 큰 언어 또는 비전 모델, 긴 컨텍스트 윈도우, 큰 배치를 포함한다면, VRAM이 계산보다 제약 요소가 됩니다. 이 경우 40~80GB의 고대역폭 메모리를 가진 카드가 필요합니다. 그렇지 않으면 실험이 맞지 않고, 호스트 메모리로 오프로드하면 반복 속도가 극도로 느려집니다. 고메모리 등급은 더 비싸고 자주 부족하므로, 주문형 가용성과 비중단 또는 스팟 용량이 비핵심 스윕에 존재하는지 확인하는 것이 좋습니다.

멀티 GPU가 중요한 경우(그리고 그렇지 않은 경우)

대부분의 연구는 단일 GPU입니다. 분산 훈련 동작, 확장 법칙 또는 한 카드에 너무 큰 모델을 의도적으로 연구할 때만 고속 인터커넥트를 가진 멀티 GPU 인스턴스를 선택하십시오. 일상적인 실험에는 단일 잘 선택된 GPU가 NVLink급 패브릭의 복잡성과 비용을 피할 수 있습니다.

연구에 특화된 비용 통제 패턴

연구는 간헐적이고 사람이 주도하기 때문에, 지출 함정이 생산과 다릅니다. 몇 가지 패턴이 실험 비용을 일관되게 저렴하게 유지합니다:

• 스윕 및 절제(ablation)에는 비중단 또는 스팟 용량 사용이 적합합니다. 선점된 작업은 단순히 다시 큐에 넣을 수 있습니다. 인터럽트가 흐름을 깨뜨리는 대화형 디버깅에는 주문형 가격을 예약하십시오.
• 스토리지와 컴퓨트를 분리하십시오. 데이터셋과 체크포인트를 영구 볼륨에 보관하면 세션 사이에 비싼 GPU 인스턴스를 파괴해도 매번 데이터를 다시 다운로드하지 않아도 됩니다. 결과를 자주 플랫폼 밖으로 이동하면 이그레스 비용을 주의하십시오.
• 탐색 작업에는 초당 또는 분당 청구를 제공하는 공급자를 선호하십시오. 수백 번의 짧은 실행에서 차이가 누적되기 때문입니다.
• 의도적으로 적절한 크기 선택하십시오. 먼저 저렴한 카드에서 대표 실행을 프로파일링하고, 작업 부하가 필요하다는 증거가 있을 때만 플래그십으로 승급하십시오.

무료 크레딧과 체험 등급은 워크로드가 작고 짧아 그 안에 맞기 때문에 연구에 진정으로 유용하며, 예산을 투입하기 전에 설정을 검증할 수 있게 해줍니다.

연구를 위한 위 비교 읽는 법

목록을 살펴볼 때 청구 단위, 프로비저닝 속도, 상호작용 도구를 GPU 모델과 가격과 함께 고려하십시오. 재현성을 위해 공급자가 컨테이너 이미지 또는 환경을 고정할 수 있게 하여 오늘 실행한 실험이 다음 달에도 동일하게 작동하는지 확인하십시오. 스냅샷이나 영구 디스크가 제공되어 유망한 실행이 인스턴스 해제 시 사라지지 않도록 하십시오. 마지막으로, 원하는 시점에 정확한 카드를 현실적으로 구할 수 있는지 확인하십시오. 희소성이 종종 연구를 지연시키는 주된 원인이기 때문입니다.

자주 묻는 질문

연구에 비싼 플래그십 GPU가 필요한가요?

보통 그렇지 않습니다. 프로토타이핑, 디버깅, 소규모 훈련을 포함한 많은 실험은 16~24GB 메모리를 가진 중간 등급 카드에서 편안하게 실행됩니다. 위 목록의 고메모리 플래그십 등급은 정말로 맞지 않는 실험에만 남겨두고, 먼저 저렴한 카드에서 프로파일링하여 적절한 크기를 선택하십시오.

스팟 또는 비중단 인스턴스가 연구에 안전한가요?

작업이 중단을 견딜 수 있는 한 연구에 적합합니다. 하이퍼파라미터 스윕, 절제, 자주 체크포인트를 저장하는 작업은 선점 후 저렴하게 다시 큐에 넣을 수 있습니다. 대화형 디버깅 세션은 예기치 않은 종료가 집중력을 깨뜨리므로 주문형 용량에서 유지하십시오.

왜 청구 단위가 실험에 그렇게 중요한가요?

연구는 한 번의 긴 실행이 아니라 많은 짧고 사람이 주도하는 세션으로 구성됩니다. 초당 또는 분당 청구는 짧은 디버깅 세션이나 휴식 중 유휴 노트북이 실제 사용한 만큼만 비용이 청구되도록 하며, 시간 단위 반올림은 수백 번의 작은 실행에서 비용을 크게 증가시킬 수 있습니다.

임대 인스턴스 간에 실험을 재현 가능하게 유지하려면 어떻게 해야 하나요?

고정된 컨테이너 이미지나 잠긴 의존성 명세로 환경을 고정하고, 데이터셋과 체크포인트를 일시적인 인스턴스 디스크가 아닌 영구 볼륨에 저장하며, 사용한 정확한 GPU 모델과 드라이버 버전을 기록하십시오. 위 목록에서 공급자가 이를 지원하는지 확인한 후 반복 작업에 의존하십시오.