Nhà cung cấp GPU đám mây với lưu trữ bền vững

Ý nghĩa của lưu trữ bền vững khi bạn thuê GPU đám mây

Theo mặc định, một phiên bản GPU thuê cho bạn một ổ đĩa làm việc tồn tại và kết thúc cùng với phiên bản đó. Ngay khi bạn dừng, hủy hoặc bị gián đoạn khỏi máy đó, ổ đĩa cục bộ sẽ bị xóa và dữ liệu biến mất. Lưu trữ bền vững phá vỡ sự liên kết đó: nó là một thể tích lưu trữ có vòng đời độc lập với bất kỳ phiên bản GPU đơn lẻ nào, vì vậy bộ dữ liệu, điểm kiểm tra mô hình, môi trường conda và trọng số được lưu trong bộ nhớ đệm của bạn sẽ tồn tại sau khi tắt máy và được gắn lại với máy tiếp theo bạn khởi động. Các nhà cung cấp trong bảng so sánh trên đều cung cấp một dạng lưu trữ này, nhưng các cách triển khai khác nhau đủ để “có” chỉ là khởi đầu của câu trả lời.

Trong thực tế, lưu trữ bền vững xuất hiện dưới hai hình thức chính. Thứ nhất là thể tích mạng (lưu trữ khối hoặc hệ thống tập tin) mà bạn gắn qua mạng nội bộ của nhà cung cấp và có thể đính kèm vào bất kỳ nút GPU nào bạn khởi chạy. Thứ hai là lưu trữ đối tượng (các bucket tương thích S3) mà bạn kéo dữ liệu khi bắt đầu công việc và đẩy kết quả trở lại. Một số nhà cung cấp cũng giữ thư mục nhà bền vững trên một pool NVMe cục bộ nhanh, tách biệt với vòng đời tính toán. Mỗi loại có cách hoạt động rất khác nhau về thông lượng, độ trễ và cách bạn tích hợp nó vào vòng lặp huấn luyện.

Tại sao điều này quan trọng với các quy trình GPU thực tế

Lý do lưu trữ bền vững đáng để lựa chọn là vì thời gian GPU là tài nguyên đắt đỏ và bạn không muốn lãng phí nó cho việc tải lại và chuẩn bị dữ liệu. Cụ thể, nó thay đổi các quy trình sau:

• Các lần huấn luyện và tinh chỉnh dài hạn ghi điểm kiểm tra mỗi vài trăm bước. Nếu các điểm kiểm tra đó chỉ tồn tại trên ổ đĩa tạm thời, một nút bị sự cố hoặc bị gián đoạn có nghĩa là phải bắt đầu lại từ đầu. Lưu trữ bền vững cho phép bạn tiếp tục từ điểm kiểm tra cuối cùng trên một GPU mới.
• Các phiên bản spot và có thể bị gián đoạn trở nên thực sự hữu dụng. Toàn bộ kinh tế của GPU preemptible giá rẻ phụ thuộc vào khả năng mất nút mà không mất công việc — điều đó chỉ đúng nếu trạng thái của bạn tồn tại trên một thể tích vượt qua vòng đời phiên bản.
• Bộ dữ liệu lớn (hàng trăm GB hình ảnh, video hoặc tập hợp token) rất phiền phức khi phải chuẩn bị lại mỗi lần khởi động. Một thể tích bền vững giữ dữ liệu đã chuẩn bị và phân mảnh để mỗi phiên mới bắt đầu trong vài giây thay vì sau một bản sao dài.
• Phát triển lặp đi lặp lại được hưởng lợi từ một thư mục nhà ổn định: môi trường của bạn, các gói đã cài đặt, trọng số Hugging Face được lưu trong bộ nhớ đệm và các notebook vẫn còn đó vào ngày mai mà không cần xây dựng lại từ ảnh container.
• Phục vụ suy luận có thể giữ trọng số mô hình luôn sẵn sàng trên lưu trữ gắn kèm để bản sao mở rộng tải nhanh thay vì phải kéo hàng chục GB từ bucket từ xa khi khởi động lạnh.

Những đánh đổi cần cân nhắc

Lưu trữ bền vững không miễn phí về chi phí hoặc sự phức tạp, và sự khác biệt giữa các nhà cung cấp thường nằm ở những đánh đổi này hơn là việc tính năng có tồn tại hay không.

• Bạn phải trả tiền khi không sử dụng. Việc tính phí tính toán dừng khi bạn tắt GPU, nhưng một thể tích bền vững tiếp tục tính phí theo dung lượng (thường theo GB-tháng) dù có GPU gắn hay không. Một thể tích lớn để lại giữa các dự án trở thành một khoản phí định kỳ âm thầm.
• Ràng buộc vùng và khu vực. Một thể tích mạng thường nằm trong một vùng hoặc trung tâm dữ liệu. Nếu GPU loại bạn muốn chỉ có ở vùng khác, bạn có thể không gắn được thể tích đó ở đó — và việc di chuyển có thể phát sinh phí xuất dữ liệu hoặc thời gian sao chép.
• Thông lượng và độ trễ thay đổi rộng. Ổ cục bộ NVMe có thể cung cấp gigabyte mỗi giây; hệ thống tập tin mạng có thể chậm hơn nhiều và gây tắc nghẽn vòng lặp huấn luyện cần nhiều dữ liệu. Với các pipeline dữ liệu có thông lượng cao, khoảng cách này quan trọng hơn dung lượng.
• Giới hạn đồng thời. Một số thể tích khối chỉ gắn được vào một phiên bản tại một thời điểm, trong khi hệ thống tập tin chia sẻ và lưu trữ đối tượng cho phép nhiều người đọc. Huấn luyện đa nút thường cần hệ thống tập tin chia sẻ hoặc kho lưu trữ đối tượng, không phải thiết bị khối chỉ gắn đơn.
• Phí xuất dữ liệu và chuyển dữ liệu. Đọc trong cùng vùng nhà cung cấp thường rẻ, nhưng kéo dữ liệu ra máy tính cá nhân hoặc đám mây khác có thể phát sinh phí xuất dữ liệu cao hơn nhiều so với chi phí lưu trữ.

Những điều cần kiểm tra trong bảng so sánh trên

Khi bạn đọc danh sách trên như một danh sách rút gọn các nhà cung cấp hỗ trợ lưu trữ bền vững, hãy xem kỹ các chi tiết thay vì coi “có” là đồng nhất:

1. Loại thể tích và thông lượng — nó là khối, hệ thống tập tin mạng hay lưu trữ đối tượng, và băng thông đọc/ghi thực tế nó duy trì dưới tải huấn luyện là bao nhiêu?
2. Mô hình giá — theo GB-tháng cho thể tích, và liệu bạn có tiếp tục trả tiền khi không có GPU gắn kèm.
3. Ràng buộc vùng — thể tích có thể gắn vào loại GPU và vùng bạn thực sự cần, bao gồm cả dung lượng spot không?
4. Dung lượng và giới hạn — kích thước thể tích tối đa, hỗ trợ snapshot và liệu nó có thể chia sẻ giữa nhiều nút không.
5. Điều khoản xuất dữ liệu — chi phí di chuyển dữ liệu ra ngoài, vì điều đó thường quyết định tổng chi tiêu nhiều hơn cả chi phí lưu trữ.

So sánh những câu trả lời đó với quy trình làm việc của bạn: một lần tinh chỉnh dài cần lưu trữ điểm kiểm tra đáng tin cậy và tiếp tục; một pipeline dữ liệu nặng cần thông lượng thô; một đội suy luận serverless hoặc tự động mở rộng cần đọc chia sẻ nhanh trọng số đã được làm nóng. Nhà cung cấp phù hợp trong bảng là người có hình thức lưu trữ bền vững phù hợp với mẫu chính của bạn.

Các câu hỏi thường gặp

Lưu trữ bền vững có giữ dữ liệu của tôi nếu tôi dừng phiên bản GPU không?

Có — đó chính là mục đích của nó. Một thể tích bền vững tách biệt khỏi phiên bản tính toán, vì vậy việc dừng hoặc hủy nút GPU không làm mất thể tích và nội dung của nó. Bạn gắn lại nó vào phiên bản tiếp theo bạn khởi chạy. Chỉ cần nhớ rằng thể tích thường vẫn phát sinh phí dung lượng khi tồn tại, ngay cả khi không có GPU chạy.

Lưu trữ bền vững có được bao gồm trong giá thuê GPU không?

Thông thường không. Giá GPU theo giờ bao gồm tính toán và ổ đĩa tạm cơ bản, trong khi thể tích bền vững được tính phí riêng theo dung lượng, thường theo GB mỗi tháng. Luôn coi lưu trữ là một mục chi phí riêng khi ước tính tổng chi phí, và kiểm tra bảng so sánh trực tiếp ở trên để biết mỗi nhà cung cấp tính giá như thế nào.

Tôi có thể sử dụng lưu trữ bền vững với GPU spot hoặc có thể bị gián đoạn giá rẻ không?

Đó là một trong những lý do tốt nhất để muốn có nó. Vì thể tích tồn tại lâu hơn bất kỳ nút đơn lẻ nào, bạn có thể bị gián đoạn khỏi một phiên bản spot, không mất gì và tiếp tục từ điểm kiểm tra cuối cùng trên máy mới. Xác nhận nhà cung cấp cho phép gắn thể tích vào dung lượng spot trong cùng vùng nơi các GPU đó có sẵn.

Sự khác biệt giữa lưu trữ bền vững và lưu trữ đối tượng như S3 là gì?

Lưu trữ đối tượng là một cách để làm dữ liệu tồn tại, nhưng bạn đọc và ghi nó dưới dạng các bucket và đối tượng qua API thay vì gắn nó như một ổ đĩa cục bộ. Một thể tích khối hoặc hệ thống tập tin bền vững hoạt động như một ổ đĩa gắn kèm mà mã của bạn đọc trực tiếp. Lưu trữ đối tượng có thể mở rộng rất lớn và chia sẻ được giữa nhiều nút; thể tích gắn thường có độ trễ thấp hơn cho vòng lặp huấn luyện đang hoạt động. Nhiều quy trình sử dụng cả hai — bucket cho lưu trữ lạnh, thể tích gắn cho bộ làm việc trực tiếp.