Felhőalapú GPU-szolgáltatók Kubernetes-támogatással

Mit jelent a Kubernetes támogatás a bérelt GPU számítási kapacitás esetén

Amikor egy felhőalapú GPU szolgáltató Kubernetes támogatást hirdet, az azt jelenti, hogy a GPU munkaterheléseket Kubernetes által kezelt konténerekre ütemezheti, ahelyett, hogy kézzel helyezné el a feladatokat egyedi bérelt gépeken. A gyakorlatban ez egy kis komponenshalmaz együttműködésén múlik: az NVIDIA eszköz plugin (vagy AMD esetén egy megfelelő), amely a GPU-kat a kubelet számára ütemezhető erőforrásként, például nvidia.com/gpu néven teszi elérhetővé; a konténer futtatókörnyezet, amely az NVIDIA Container Toolkit-kel van konfigurálva, hogy a konténerek lássák az illesztőprogramot; valamint a képeiben lévő illesztőprogram és CUDA verziók egyezése. Sok szolgáltató ezt az NVIDIA GPU Operator segítségével csomagolja, amely automatikusan telepíti az illesztőprogramokat, az eszköz plugint és a monitorozást minden csomópontba, így nem kell az illesztőprogramokat a saját képeibe beépítenie.

A fenti összehasonlításban a “igen” két lényegesen különböző dolgot jelenthet, és érdemes tudni, hogy Ön melyiket kapja:

• Kezelt Kubernetes GPU csomópont csoportokkal — a szolgáltató futtatja az irányító síkot az Ön számára, és lehetővé teszi GPU-val támogatott munkás csomópontok hozzáadását; Ön főként manifesteket ír és GPU erőforrásokat kér.
• GPU példányok, amelyeket saját klaszteréhez csatlakoztathat — a szolgáltató nyers GPU virtuális gépeket vagy bare metal gépeket ad, és Ön telepíti és üzemelteti a Kubernetes-t (vagy egy disztribúciót, például k3s) maga.

Mindkettő jogosan “Kubernetes támogatás”, de az üzemeltetési terhek nagyon eltérőek. Ellenőrizze a fenti összehasonlítást és a szolgáltató dokumentációját, hogy az irányító sík kezelt-e, vagy Ön felel érte.

Miért fontos ez a valódi GPU munkafolyamatok esetén

A Kubernetes ott éri meg GPU munkáknál, ahol koordinációra van szükség, nem pedig egyetlen hosszú életű gépre:

• Nagy léptékű inferencia szolgáltatás — automatikusan skálázódó replikák egy szolgáltatás mögött, új modellverziók gördülő bevezetése leállás nélkül, és több kisebb modell hatékony elhelyezése megosztott csomópontokon. Ez a legerősebb érv a Kubernetes mellett GPU-kon.
• Több csomópontos elosztott tanítás — keretrendszerek és operátorok (például a Kubeflow tanítási operátorok vagy MPI/Volcano-stílusú csoportos ütemezés) koordinálják a munkás podokat sok GPU csomóponton át, ami fontos, ha egy gép nem képes befogadni a modellt, vagy gyorsabb faliórás tanításra van szükség.
• Batch és pipeline feladatok — finomhangolási futtatások, adat-előkészítés vagy renderelés sorba állítása Kubernetes Jobs-ként, újrapróbálkozásokkal és erőforrás kvótákkal, ahelyett, hogy SSH munkameneteket kellene felügyelni.

Egyetlen interaktív jegyzetfüzet vagy egyetlen finomhangolási futtatás egy GPU-n általában túlzott Kubernetes overhead-et jelent — egy egyszerű bérelt példány SSH-val vagy Jupyter végponttal egyszerűbb. Az érték akkor jelenik meg, ha több munkaterhelése, több GPU-ja van, vagy automatizált helyreállításra és skálázásra van szüksége.

GPU megosztási és ütemezési funkciók, amelyeket érdemes keresni

Az alap Kubernetes egy GPU-t oszthatatlan egész számú erőforrásként kezel: egy pod egy vagy több teljes GPU-t kap. Ha az Ön inferencia modelljei nem telítik ki a kártyát, az pazarlás. A szolgáltatók és klaszterek abban különböznek, hogy milyen finoman engedik a GPU-k szeletelését:

• Időosztás — az eszköz plugin egy fizikai GPU-t több ütemezhető egységként hirdet, lehetővé téve több pod számára a kooperatív megosztást (kemény memória izoláció nélkül).
• Multi-Instance GPU (MIG) — az Ampere generációtól és később támogatott adatközponti kártyákon, ez egy GPU-t hardveresen izolált példányokra oszt, dedikált memória- és számítási szeletekkel.
• MPS (Multi-Process Service) — lehetővé teszi, hogy különböző folyamatok egyidejűleg futtassanak kernel műveleteket egy GPU-n alacsonyabb overhead-del, mint az időosztás.

Ha sok kis inferencia munkaterhelést szeretne kevesebb kártyára csomagolni, erősítse meg, hogy a szolgáltató melyiket teszi elérhetővé, mert ez közvetlenül befolyásolja, hány GPU-t kell valójában bérelnie.

Kompromisszumok és mit ellenőrizzen, mielőtt elkötelezi magát

A Kubernetes képességeket ad, de több mozgó alkatrészt is. Mérlegelje ezeket egy egyszerűbb bérelt példánnyal szemben:

• Illesztőprogram és CUDA összehangolás — a konténer képe CUDA toolkitje kompatibilis kell legyen a csomópontba telepített illesztőprogrammal. A GPU Operator csökkenti ezt a problémát, de a verzióeltérések a leggyakoribb oka annak, hogy a podok ütemeződnek, de összeomlanak.
• Hálózat több csomópontos tanításhoz — az elosztott feladatok sávszélesség-érzékenyek. Keressen nagysebességű összeköttetést (például RDMA/InfiniBand vagy gyors csomópont-csomópont linkek), és hogy a szolgáltató támogatja-e a releváns CNI-t és eszköz plugineket; a szokásos pod hálózat korlátozhatja a kollektív műveleteket.
• Tárolás — a tanításhoz és ellenőrzőpontokhoz CSI driverekre és perzisztens kötetekre van szükség, ideális esetben gyors megosztott tárolóval, amelyet a podok több csomóponton át is csatolhatnak.
• Spot/interrupcióra alkalmas csomópontok — olcsóbb, előre megszakítható GPU csomópontok jól párosíthatók a Kubernetes-szel, ha a munkaterhelések elviselik az eltávolítást; győződjön meg róla, hogy a klaszter kezelni tudja a csomópontok kiürítését és újraütemezést zökkenőmentesen.
• Számlázási modell — a GPU csomópontokért akkor is fizet, ha a podok nem használják őket, plusz bármilyen kezelt irányító sík díjat. Az inaktív GPU csomópontok rejtett költséget jelentenek; az automatikus skálázás nullára csökkentéssel enyhíthető.

Használja a fenti listát a Kubernetes-képes szolgáltatók szűrésére, majd mélyedjen el mindegyik dokumentációjában az eszköz plugin módszer, GPU megosztási lehetőségek, összeköttetés és az irányító sík kezeltsége szerint. A táblázat kezeli az élő elérhetőséget és árakat; ez a dimenzió arról szól, mennyi koordinációt kap a bérelt GPU-kért.

Gyakran ismételt kérdések

Jelenti-e a Kubernetes támogatás azt, hogy az illesztőprogramok már telepítve vannak a GPU csomópontokon?

Gyakran igen, de nem mindig. Azok a szolgáltatók, akik az NVIDIA GPU Operátort vagy előre elkészített GPU csomópont képeket szállítanak, telepítik az illesztőprogramot, konténer toolkit-et és eszköz plugint Ön helyett. Mások nyers GPU csomópontokat adnak, ahol Önnek kell ezeket telepítenie. Erősítse meg, melyik modell vonatkozik Önre, hogy tudja, a képeinek egyezniük kell-e egy előre telepített illesztőprogram verzióval.

Futtathatok több munkaterhelést egy GPU-n Kubernetes alatt?

Alapértelmezés szerint nem — a Kubernetes egész GPU-kat oszt ki podoknak. Egy kártya megosztásához explicit engedélyezett funkcióra van szükség, mint az időosztás, MPS vagy hardveres MIG szeletelés. Ellenőrizze a fenti összehasonlítást, hogy a szolgáltató kínál-e ilyet, mielőtt feltételezné, hogy több kis modellt egy GPU-n együtt futtathat.

Megéri-e a Kubernetes egyetlen GPU feladathoz?

Általában nem. Egy jegyzetfüzethez, egy inferencia végponthoz vagy egy finomhangolási futtatáshoz egy egyszerű bérelt példány SSH-val vagy hosztolt Jupyterrel egyszerűbb és elkerüli a klaszter overhead-et. A Kubernetes akkor térül meg, ha több párhuzamos munkaterhelése, több GPU vagy több csomópontos tanítása, automatikus skálázású inferencia vagy automatizált újrapróbálkozások és bevezetés szükséges.

Mit kell ellenőriznem több csomópontos elosztott tanítás esetén Kubernetes alatt?

Ellenőrizze a nagysebességű összeköttetést a GPU csomópontok között (például RDMA vagy InfiniBand), a csoportos/sorozatos ütemezés támogatását, hogy az összes munkás pod egyszerre induljon, a keretrendszeréhez való tanítási operátort, valamint a gyors megosztott tárolót az adatkészletekhez és ellenőrzőpontokhoz. Ezek nélkül az elosztott feladatok vagy részleges ütemezésre várnak, vagy a hálózat és tárolás korlátozza őket a számítás helyett.