생성형 AI를 위한 최고의 클라우드 GPU

렌트한 GPU에서 생성형 AI가 실제로 요구하는 것

생성형 AI는 광범위한 범주입니다. 이는 자기회귀 대형 언어 모델, 확산 기반 이미지 및 비디오 생성기, 텍스트-오디오 및 음악 모델, 그리고 점점 더 여러 모드를 동시에 처리하는 멀티모달 시스템을 포함합니다. 공통점은 모델이 입력하는 데이터에 비해 크기가 크고, 병목 현상은 거의 항상 GPU 메모리이며 원시 연산 능력보다는 메모리가 제한 요소라는 점입니다. 위의 비교를 읽기 전에 이 작업 부하에서 어떤 요소가 중요한지 아는 것이 도움이 됩니다.

• VRAM 용량은 무엇을 로드할 수 있는지를 결정합니다. 모델의 가중치는 활성화 값과 함께 메모리에 적재되어야 하며, 학습 중에는 옵티마이저 상태와 그래디언트도 함께 있어야 합니다. 7B–13B 매개변수의 양자화된 모델 추론은 단일 24GB 카드에서 편안하게 수행할 수 있지만, 70B 모델을 더 높은 정밀도로 서비스하려면 80GB급 가속기나 다중 GPU가 필요합니다.
• 메모리 대역폭은 토큰 처리량을 결정합니다. 생성형 추론은 메모리 제약이 큽니다: 생성되는 각 토큰마다 모델 가중치를 컴퓨트 유닛에 스트리밍해야 하므로, 데이터 센터 가속기에서 볼 수 있는 HBM급 대역폭이 동일 VRAM을 가진 GDDR 기반 소비자 카드보다 훨씬 높은 초당 토큰 수를 제공합니다.
• 저정밀도 지원은 다른 작업 부하보다 더 중요합니다. FP16, BF16, 특히 FP8 또는 INT8을 가속하는 텐서 코어는 더 큰 모델을 적은 메모리로 더 빠르게 실행할 수 있게 합니다. FP8 지원 하드웨어는 최신 대형 모델의 서비스 및 학습 모두에서 중요한 차별화 요소입니다.
• 인터커넥트는 모델이 한 개 GPU에 맞지 않을 때 결정적인 역할을 합니다. NVLink 같은 고대역폭 링크와 다중 노드 학습을 위한 노드 수준 패브릭은 가중치가 여러 GPU에 분산될 때 여러 GPU에 데이터를 원활하게 공급합니다. PCIe만 사용하는 다중 GPU 구성도 가능하지만 대형 모델 학습과 텐서 병렬 추론을 제한합니다.

작업 부하에 맞는 적절한 등급 선택

“생성형 AI”는 수행하는 작업에 따라 렌탈 요구 사항이 매우 다릅니다. 위 목록을 이 관점에서 읽으면 비용과 좌절을 줄일 수 있습니다.

추론 및 서비스

사용자에게 텍스트, 이미지 또는 오디오를 생성하는 모델을 배포할 경우, 비용 대비 가장 높은 메모리 대역폭과 모델 및 적절한 KV 캐시(컨텍스트 길이에 따라 증가하는 요청별 메모리)를 담을 수 있는 충분한 VRAM이 필요합니다. 채팅 스타일 및 긴 컨텍스트 생성에서는 KV 캐시가 가중치 크기와 비슷할 수 있으므로 인스턴스 크기를 모델 가중치만으로 결정하지 마십시오. INT8 또는 FP8 양자화는 더 큰 모델을 적은 카드에서 실행하거나 더 많은 동시 요청을 처리할 수 있게 합니다. 실시간 지연 민감 서비스의 경우, 복제본당 단일 빠른 GPU가 여러 GPU에 모델을 나누는 것보다 보통 더 효율적입니다.

미세 조정 및 적응

기반 모델을 맞춤화하는 대부분의 팀은 전체 학습보다는 파라미터 효율적인 미세 조정(LoRA/QLoRA)을 수행합니다. 특히 QLoRA는 기본 모델을 양자화 상태로 유지하고 작은 어댑터 가중치만 학습하여 VRAM 요구량을 크게 낮춥니다 — 상당한 크기의 모델도 단일 24GB–48GB 카드에서 조정할 수 있습니다. 반면 대형 모델의 전체 미세 조정은 옵티마이저 상태와 그래디언트를 메모리에 유지해야 하므로 요구량이 몇 배로 늘어나 80GB 가속기나 강력한 인터커넥트를 갖춘 다중 GPU 노드가 필요합니다.

사전 학습 및 대규모 학습

처음부터 대형 생성형 모델을 학습하는 것은 가장 까다로운 경우입니다. 다중 GPU 및 다중 노드 확장이 주를 이루므로 인터커넥트 대역폭, 데이터 로더에 데이터를 공급하는 빠른 공유 스토리지, HBM 및 FP8 지원을 갖춘 신뢰할 수 있는 고성능 가속기가 모두 중요합니다. 이 경우 온디맨드 가용성과 희소성이 계획 문제로 부각되며, 가장 저렴한 스팟 가격을 쫓기보다는 약정 또는 예약 용량이 더 합리적일 때가 많습니다.

위 생성형 AI 비교표를 읽는 방법

표는 실시간 세부 사항을 다루지만, 살펴볼 때 고려할 점은 다음과 같습니다:

• 먼저 VRAM, 그다음 대역폭. 모델과 KV 캐시를 실제로 담을 수 있는 인스턴스로 필터링한 후, 추론 처리량을 위해 HBM급 메모리를 우선시하십시오.
• 단일 GPU 대 다중 GPU. 모델이 한 GPU에 맞으면 단일 빠른 카드가 다중 GPU 박스보다 간단하고 보통 더 저렴합니다. 모델이 실제로 여러 카드에 걸쳐 있을 때만 NVLink 연결 다중 GPU 인스턴스를 선택하십시오.
• 청구 단위. 생성형 작업은 종종 일시적입니다 — 이미지 배치 작업, 평가 실행, 간헐적 엔드포인트. 초 단위 또는 분 단위 청구와 인스턴스를 빠르게 중지할 수 있는 기능은 유휴 가속기에 대한 비용 지출을 방지합니다.
• 스팟 대 온디맨드. 인터럽트 가능한 인스턴스는 내결함성 배치 생성 및 체크포인트 미세 조정에 적합하지만, 항상 가동되어야 하는 사용자 대상 엔드포인트에는 위험합니다.
• 스토리지 및 데이터 송출. 모델 가중치는 이동 크기가 크고 체크포인트용 영구 저장소 비용도 누적되므로, GPU 시간뿐 아니라 각 옵션의 저장 및 데이터 전송 비용도 확인하십시오.

가장 인기 있는 가속기의 가격과 공급은 자주 변하므로 위 비교표의 실시간 수치를 진실의 근원으로 간주하고, 여기 제시된 지침을 사용해 비교할 가치가 있는 행을 결정하십시오.

자주 묻는 질문

생성형 AI에 필요한 VRAM은 얼마나 되나요?

모델 크기와 정밀도에 따라 다릅니다. 7B–13B 범위의 양자화된 모델은 24GB 소비자급 카드에서 실행 가능하며, 중간 크기 모델과 전체 정밀도 서비스는 48GB 카드를 선호하고, 약 70B 매개변수 이상의 대형 모델은 보통 80GB급 가속기나 여러 GPU가 필요합니다. 긴 컨텍스트 생성 시 KV 캐시를 위한 추가 메모리를 항상 예산에 포함시키십시오.

생성형 AI에 스팟 인스턴스와 온디맨드 인스턴스 중 어느 것을 사용해야 하나요?

인터럽트 가능 용량(스팟)을 배치 이미지 또는 비디오 생성, 체크포인트 미세 조정과 같이 내결함성이 필요한 작업에 사용하십시오. 중단 시 재시작 비용만 발생합니다. 온디맨드 또는 예약 용량은 프로덕션 추론 엔드포인트 및 쉽게 재개할 수 없는 장기 학습에 사용하십시오. 예기치 않은 회수가 훨씬 더 큰 장애를 초래하기 때문입니다.

80GB 데이터센터 GPU가 필요한가요, 아니면 소비자용 카드로도 되나요?

실험, LoRA/QLoRA 미세 조정, 소형에서 중형 양자화 모델 서비스에는 24GB 소비자급 GPU가 충분하고 임대 비용도 저렴합니다. 처리량을 위한 더 높은 메모리 대역폭, FP8 가속, 다중 GPU 확장을 위한 NVLink, 또는 대형 모델과 대량 배치를 위한 더 큰 공간이 필요할 때는 HBM 지원 80GB 가속기로 업그레이드하십시오.

GPU가 완전히 활용되지 않는데도 토큰 생성이 느린 이유는 무엇인가요?

생성형 추론은 보통 연산 능력보다는 메모리 대역폭에 제한되므로, 원시 연산 활용률이 낮아 보여도 초당 토큰 수 상한이 높을 수 있습니다. 해결책은 더 빠른 메모리(HBM 대신 GDDR), 모델을 INT8 또는 FP8로 양자화, 또는 더 많은 요청을 배치 처리하여 메모리에서 스트리밍하는 가중치가 여러 생성에 동시에 사용되도록 하는 것입니다.