Penyedia GPU Awan dengan Penyimpanan Kekal

Apa maksud storan kekal apabila anda menyewa GPU awan

Secara lalai, satu contoh GPU yang disewa memberikan anda cakera kerja yang hidup dan mati bersama contoh itu. Pada saat anda menghentikan, memusnahkan, atau digantikan daripada mesin itu, cakera tempatan akan dipadam dan data hilang. Storan kekal memutuskan hubungan itu: ia adalah volum storan yang jangka hayatnya bebas daripada mana-mana contoh GPU tunggal, jadi set data, titik semakan model, persekitaran conda, dan berat cache anda kekal walaupun selepas dimatikan dan boleh disambungkan semula ke mesin seterusnya yang anda lancarkan. Penyedia dalam perbandingan di atas semuanya menawarkan beberapa bentuk ini, tetapi pelaksanaannya berbeza sehingga “ya” hanyalah permulaan jawapan.

Dalam praktiknya, storan kekal muncul dalam dua bentuk utama. Yang pertama ialah volum rangkaian (storan blok atau sistem fail) yang anda pasang melalui rangkaian dalaman penyedia dan boleh disambungkan ke mana-mana nod GPU yang anda lancarkan. Yang kedua ialah storan objek (baldi serasi S3) yang anda tarik pada permulaan kerja dan hantar kembali hasilnya. Beberapa penyedia juga menyimpan direktori rumah kekal pada kolam NVMe tempatan yang pantas yang dipisahkan daripada kitar hayat pengkomputeran. Setiap satu berkelakuan sangat berbeza dari segi kelajuan, kelewatan, dan cara anda menghubungkannya ke dalam gelung latihan.

Mengapa ia penting untuk aliran kerja GPU sebenar

Sebab storan kekal berbaloi untuk ditapis adalah kerana masa GPU adalah sumber yang mahal dan anda tidak mahu membazirkannya dengan memuat turun semula dan menyediakan data semula. Secara konkrit, ia mengubah aliran kerja ini:

• Latihan dan penalaan halus yang panjang menulis titik semakan setiap beberapa ratus langkah. Jika titik semakan itu hanya hidup pada cakera sementara, nod yang rosak atau digantikan bermakna memulakan semula dari sifar. Storan kekal membolehkan anda menyambung semula dari titik semakan terakhir pada GPU baru.
• Contoh spot dan boleh diganggu menjadi benar-benar boleh digunakan. Keseluruhan ekonomi GPU preemptible murah bergantung pada keupayaan untuk kehilangan nod tanpa kehilangan kerja — itu hanya berlaku jika keadaan anda hidup pada volum yang melebihi jangka hayat contoh.
• Set data besar (beratus-ratus GB imej, video, atau korpus token) menyakitkan untuk disediakan semula pada setiap pelancaran. Volum kekal menyimpan data yang telah disediakan dan dibahagikan supaya setiap sesi baru bermula dalam beberapa saat dan bukannya selepas salinan panjang.
• Pembangunan iteratif mendapat manfaat daripada direktori rumah yang stabil: persekitaran anda, pakej yang dipasang, berat Hugging Face yang dicache, dan buku nota masih ada esok tanpa membina semula daripada imej kontena.
• Perkhidmatan inferens boleh menyimpan berat model dalam storan yang disambungkan supaya replika yang diperbesarkan dimuat dengan cepat dan bukannya menarik puluhan GB dari baldi jauh semasa permulaan sejuk.

Pertukaran yang perlu dipertimbangkan

Storan kekal tidak bebas kos atau geseran, dan perbezaan antara penyedia biasanya terletak pada pertukaran ini dan bukannya sama ada ciri itu wujud atau tidak.

• Anda membayarnya walaupun tidak digunakan. Pengebilan pengkomputeran berhenti apabila anda mematikan GPU, tetapi volum kekal terus dikenakan bayaran untuk kapasiti (biasanya per GB-bulan) sama ada GPU disambungkan atau tidak. Volum besar yang dibiarkan antara projek menjadi caj berulang yang senyap.
• Pengikatan rantau dan zon. Volum rangkaian biasanya hidup dalam satu rantau atau pusat data. Jika GPU jenis yang anda mahu hanya tersedia di rantau lain, anda mungkin tidak dapat menyambungkan volum anda di sana — dan memindahkannya boleh menyebabkan caj keluar atau masa salinan.
• Kelajuan dan kelewatan sangat berbeza-beza. Scratch NVMe tempatan boleh menyampaikan gigabait sesaat; sistem fail rangkaian mungkin jauh lebih perlahan dan boleh menjadi halangan bagi gelung latihan yang memerlukan data banyak. Untuk saluran data berkelajuan tinggi, jurang ini lebih penting daripada kapasiti.
• Had serentak. Sesetengah volum blok hanya boleh disambungkan ke satu contoh pada satu masa, manakala sistem fail kongsi dan storan objek membenarkan ramai pembaca. Latihan multi-nod biasanya memerlukan sistem fail kongsi atau storan objek, bukan peranti blok yang hanya boleh disambung satu kali.
• Bayaran keluar dan pemindahan. Membaca dalam rantau penyedia yang sama biasanya murah, tetapi menarik data keluar ke komputer riba anda atau awan lain boleh membawa caj keluar yang melebihi kos storan.

Apa yang perlu diperiksa dalam perbandingan di atas

Apabila anda membaca senarai di atas sebagai senarai pendek penyedia yang menyokong storan kekal, selidik butiran spesifik dan jangan anggap “ya” adalah seragam:

1. Jenis volum dan kelajuan — adakah ia blok, sistem fail rangkaian, atau storan objek, dan berapa lebar jalur baca/tulis sebenar yang dapat disokong di bawah beban latihan?
2. Model harga — per GB-bulan untuk volum, dan sama ada anda terus membayar walaupun tiada GPU disambungkan.
3. Pengikatan rantau — bolehkah volum disambungkan ke jenis GPU dan rantau yang anda benar-benar perlukan, termasuk kapasiti spot?
4. Kapasiti dan had — saiz volum maksimum, sokongan snapshot, dan sama ada ia boleh dikongsi merentasi pelbagai nod.
5. Terma keluar — berapa kos untuk memindahkan data keluar, kerana itu sering menentukan jumlah perbelanjaan lebih daripada item storan.

Padankan jawapan itu dengan beban kerja anda: satu penalaan halus panjang mahu ketekalan titik semakan yang boleh dipercayai dan sambungan semula; saluran data berat mahu kelajuan mentah; armada inferens tanpa pelayan atau penskalaan automatik mahu bacaan kongsi yang pantas bagi berat yang hangat. Penyedia yang betul dalam jadual adalah yang bentuk storan kekalnya sesuai dengan corak dominan anda.

Soalan lazim

Adakah storan kekal menyimpan data saya jika saya menghentikan contoh GPU?

Ya — itulah tujuan utamanya. Volum kekal dipisahkan daripada contoh pengkomputeran, jadi menghentikan atau memusnahkan nod GPU meninggalkan volum dan kandungannya utuh. Anda menyambungkannya semula ke contoh seterusnya yang anda lancarkan. Ingatlah bahawa volum itu sendiri biasanya terus dikenakan caj kapasiti selagi ia wujud, walaupun tiada GPU berjalan.

Adakah storan kekal termasuk dalam harga sewa GPU?

Biasanya tidak. Kadar GPU sejam meliputi pengkomputeran dan cakera sementara asas, manakala volum kekal dikenakan bayaran berasingan mengikut kapasiti, biasanya per GB sebulan. Sentiasa anggap storan sebagai item berasingan apabila menganggarkan jumlah kos, dan periksa perbandingan langsung di atas untuk bagaimana setiap penyedia mengenakan harganya.

Bolehkah saya menggunakan storan kekal dengan GPU spot atau boleh diganggu yang murah?

Itulah salah satu sebab terbaik untuk menginginkannya. Kerana volum melebihi jangka hayat mana-mana nod tunggal, anda boleh digantikan daripada contoh spot, tidak kehilangan apa-apa, dan menyambung semula dari titik semakan terakhir pada mesin baru. Sahkan bahawa penyedia membenarkan menyambungkan volum ke kapasiti spot dalam rantau yang sama di mana GPU itu tersedia.

Apakah perbezaan antara storan kekal dan storan objek seperti S3?

Storan objek adalah satu cara untuk membuat data kekal, tetapi anda membacanya dan menulisnya sebagai baldi dan objek melalui API dan bukannya memasangnya sebagai cakera tempatan. Volum blok atau sistem fail kekal berkelakuan seperti pemacu yang disambungkan yang dibaca terus oleh kod anda. Storan objek boleh skala besar dan boleh dikongsi merentasi banyak nod; volum yang dipasang biasanya menawarkan kelewatan lebih rendah untuk gelung latihan aktif. Banyak aliran kerja menggunakan kedua-duanya — baldi untuk arkib sejuk, volum yang dipasang untuk set kerja langsung.