GPU Awan Terbaik untuk Penyajian & Penggunaan LLM

Apa yang sebenarnya diperlukan oleh LLM serving daripada GPU sewaan

Melayani model bahasa besar adalah beban kerja yang sangat berbeza daripada melatihnya. Latihan bergantung pada kelajuan pemprosesan dan toleran terhadap kelewatan; perkhidmatan adalah sensitif kepada kelewatan, terhad oleh memori, dan bersifat ledakan. Apabila anda menyewa GPU untuk melaksanakan LLM di belakang API, halangan jarang sekali adalah FLOPS mentah. Ia adalah berapa banyak model dan cache KV yang boleh anda simpan dalam VRAM, seberapa pantas memori itu mengalir, dan berapa banyak permintaan serentak yang boleh anda kumpulkan sebelum kadar token sesaat per pengguna merosot.

Cache KV adalah bahagian yang paling ramai orang kurang anggarkan. Setiap permintaan aktif menyimpan kunci dan nilai perhatian untuk konteksnya, dan jejak itu bertambah dengan panjang urutan dan bilangan pengguna serentak. Model yang muat dengan selesa ketika tidak aktif boleh kehabisan memori sebaik sahaja anda menolak trafik sebenar dengan arahan panjang. Inilah sebabnya mengapa pelaksanaan perkhidmatan sering memerlukan ruang VRAM lebih daripada yang dicadangkan oleh berat model sahaja.

Cara menentukan saiz GPU mengikut model

Soalan praktikal pertama ialah sama ada model muat pada satu GPU atau perlu dibahagikan ke beberapa GPU. Membaca perbandingan di atas berbanding model anda, timbang faktor-faktor ini:

• Kapasiti VRAM menentukan model mana yang sesuai. Model 7B–13B yang dikuantisasi dalam FP8 atau INT8 boleh dilayani dari satu pemecut pertengahan, manakala model 70B dalam BF16 biasanya memerlukan kad memori tinggi atau nod multi-GPU. Model kelas frontier yang sangat besar secara efektif memerlukan beberapa GPU kelas atas yang dihubungkan bersama.
• Lebar jalur memori menetapkan kelajuan penjanaan token anda. Penyahkodan autoregresif membaca set penuh berat untuk setiap token yang dihasilkan, jadi memori kelas HBM (seperti yang terdapat pada kad pusat data) menghasilkan token jauh lebih pantas daripada kad pengguna berasaskan GDDR pada saiz model yang sama. Untuk sembang interaktif, lebar jalur sering lebih penting daripada pengiraan.
• Ketepatan yang disokong menentukan sejauh mana anda boleh mengecilkan model. Kad dengan sokongan tensor FP8 dan INT8 membolehkan anda melayani model yang lebih besar pada VRAM yang lebih sedikit dan pada kelajuan yang lebih tinggi, dengan syarat tumpukan perkhidmatan anda dan skim kuantisasi model serasi.
• Sambungan antara GPU penting apabila model merangkumi beberapa GPU. Perkhidmatan tensor-paralel bertukar aktivasi antara GPU pada setiap lapisan, jadi pautan kelas NVLink dalam nod memberikan kelewatan yang jauh lebih baik daripada konfigurasi hanya PCIe. Untuk pelaksanaan satu GPU, sambungan tidak relevan.

Perkhidmatan satu GPU versus multi-GPU

Jika model anda dan cache KV puncaknya muat pada satu GPU, kekalkan di situ. Perkhidmatan satu GPU mengelakkan overhead komunikasi antara peranti sepenuhnya dan lebih mudah diurus. Beralih ke paralel tensor atau perkhidmatan multi-nod hanya apabila model benar-benar tidak muat, kerana setiap GPU tambahan memperkenalkan kos penyelarasan dan menyukarkan penskalaan automatik. Apabila anda memerlukan beberapa GPU, pilih instans dalam senarai di atas yang menggabungkan kad memori tinggi dengan sambungan pantas dalam nod daripada menggabungkan kad yang longgar.

Ciri penyedia yang penting untuk perkhidmatan, bukan latihan

Selain silikon, model operasi penyedia menentukan sama ada pelaksanaan itu boleh dilakukan. Apabila meneliti perbandingan di atas untuk beban kerja perkhidmatan dan bukan sesi latihan, utamakan perkara berikut:

• Masa mula sejuk dan persediaan menjadi kebimbangan utama. Titik akhir perkhidmatan yang boleh skala ke sifar antara lonjakan trafik membayar kos mula sejuk pada setiap skala naik, jadi penyediaan pantas dan caching imej secara langsung mempengaruhi kelewatan ekor.
• Granulariti bil mengubah ekonomi trafik ledakan. Pengebilan per saat atau per minit sesuai untuk titik akhir penskalaan automatik yang menghidupkan dan mematikan instans; pengebilan kasar per jam menghukum corak itu.
• Kebolehpercayaan atas permintaan berbanding spot biasanya pilihan yang tepat. Instans boleh ganggu atau spot sangat sesuai untuk latihan dan kerja batch tetapi berisiko untuk titik akhir berhadapan pengguna, di mana pengambilan semula di tengah permintaan menjatuhkan trafik langsung. Spot masih boleh melayani inferens batch bukan interaktif dengan baik.
• Penyimpanan kekal dan pemuatan model pantas mengurangkan kesakitan mula semula. Berat berbilang gigabait yang dimuat semula dari storan objek sejuk pada setiap mula semula menambah minit masa henti; volum cache atau terpasang memendekkan itu.
• Rangkaian dan egress mempengaruhi kos pada skala besar. Inferens berkelajuan tinggi boleh memindahkan banyak data keluar; periksa terma egress sebelum membuat komitmen kepada pelaksanaan trafik tinggi.

Batch versus masa nyata, dan di mana kos terletak

Putuskan awal mod mana yang anda optimakan. Perkhidmatan interaktif masa nyata menghargai masa-ke-token-pertama yang rendah dan kadar token per pengguna yang stabil, yang mengutamakan memori berlebar jalur tinggi dan saiz batch sederhana. Inferens batch atau luar talian menghargai jumlah kelajuan dan boleh mengumpul batch besar pada perkakasan yang lebih murah atau boleh diganggu, menukar kelewatan per permintaan untuk kos per token yang jauh lebih baik. Ramai pasukan menjalankan kedua-duanya: lapisan permintaan responsif untuk pengguna langsung dan lapisan batch disokong spot untuk penjanaan pukal.

Dari segi kos sewaan, perkhidmatan merangkumi seluruh spektrum. Model kecil yang dikuantisasi pada kad pertengahan adalah murah dan mudah didapati; model frontier pada nod multi-GPU memori tinggi adalah terhad, lebih mahal, dan kadang-kadang terhad kapasiti semasa puncak permintaan. Oleh kerana kadar sentiasa berubah dan berbeza mengikut wilayah dan komitmen, anggap perbandingan langsung di atas sebagai sumber kebenaran dan bandingkan instans mengikut VRAM, kelas lebar jalur, sambungan, dan model bil bersama-sama dan bukan harga utama sahaja.

Soalan yang kerap ditanya

Berapa banyak VRAM yang saya perlukan untuk melayani LLM?

Anggarkan berat model pada ketepatan pilihan anda ditambah ruang kepala yang besar untuk cache KV, yang bertambah dengan panjang konteks dan pengguna serentak. Sebagai panduan kasar, model kecil dan sederhana yang dikuantisasi boleh dilayani dari satu kad pertengahan, manakala model besar dengan ketepatan lebih tinggi memerlukan kad memori tinggi atau beberapa GPU. Sentiasa saiz untuk kesesakan puncak, bukan ketika tidak aktif.

Adakah GPU spot atau boleh diganggu sesuai untuk perkhidmatan LLM?

Untuk titik akhir masa nyata berhadapan pengguna, biasanya tidak, kerana pengambilan semula boleh menjatuhkan permintaan langsung dan memaksa mula semula sejuk. Instans spot sesuai untuk inferens luar talian atau batch, di mana gangguan hanya melambatkan kelajuan dan tidak memutuskan sesi interaktif. Ramai pasukan mengekalkan kapasiti atas permintaan untuk trafik langsung dan menggunakan spot untuk kerja pukal.

Mengapa lebar jalur memori lebih penting daripada pengiraan untuk perkhidmatan?

Penyahkodan token demi token membaca berat model dari memori untuk setiap token yang dihasilkan, jadi kelajuan penjanaan bergantung pada seberapa pantas GPU mengalirkan memori dan bukan FLOPS puncaknya. Ini sebabnya kad pusat data yang dilengkapi HBM menghasilkan token lebih pantas daripada kad pengguna yang memegang model sama, dan mengapa lebar jalur adalah lajur utama untuk dibandingkan di atas.

Patutkah saya melayani pada satu GPU atau bahagikan ke beberapa?

Gunakan satu GPU bila-bila model dan cache KV puncaknya muat, kerana itu mengelakkan komunikasi antara peranti dan memudahkan penskalaan. Beralih ke paralel tensor multi-GPU hanya apabila model benar-benar tidak muat, dan apabila berbuat demikian, pilih instans yang menggabungkan kad memori tinggi dengan sambungan pantas dalam nod.