Penyedia GPU Awan Terbaik dengan NVIDIA A40

Apa sebenarnya NVIDIA A40 itu

A40 adalah GPU pusat data generasi Ampere yang dibina di atas cip GA102 — keluarga silikon yang sama yang menggerakkan kad workstation dan pengguna Ampere kelas tinggi NVIDIA. Ia tergolong dalam barisan visualisasi profesional NVIDIA dan bukannya barisan A100 yang mengutamakan pengkomputeran, yang membentuk segala-galanya tentang cara ia disewa dan apa yang ia mahir. Ciri utama bagi sesiapa yang menyewanya adalah kapasiti memori: A40 membawa 48 GB GDDR6 dengan ECC, satu kolam besar yang membolehkan anda memuatkan model dan set data yang besar tanpa perlu menggunakan pembahagian multi-GPU.

Kerana ia menggunakan GDDR6 dan bukannya HBM2e yang terdapat pada A100, lebar jalur memori mentahnya lebih rendah — dalam julat kasar ratusan GB/s berbanding berbilion terabait sesaat yang disediakan oleh kad HBM. Perbezaan tunggal itu adalah perkara paling penting untuk difahami apabila membaca perbandingan di atas: A40 memberikan anda VRAM yang banyak dengan lebar jalur sederhana, yang merupakan proposisi nilai yang sangat berbeza daripada kad HBM yang terikat lebar jalur.

Sokongan pengkomputeran dan ketepatan

A40 termasuk Teras Tensor generasi ketiga Ampere dan teras RT generasi kedua. Untuk kerja AI, ketepatan yang relevan diliputi dengan baik:

• FP16 dan BF16 untuk latihan dan inferens campuran ketepatan, dengan pecutan Teras Tensor.
• TF32, format tensor Ampere yang mempercepatkan matematik latihan gaya FP32 dengan perubahan kod yang minimum.
• INT8 dan INT4 untuk inferens kuantisasi berkelajuan tinggi.
• Sokongan kekurangan struktur, yang boleh menggandakan secara kasar keberkesanan Teras Tensor pada model yang dilatih untuk memanfaatkannya.

Apa yang tidak dimiliki ialah FP8, yang diperkenalkan dengan generasi Hopper kemudian (H100) dan keluarga Ada serta Blackwell. Jika aliran kerja anda secara khusus mensasarkan kernel latihan atau inferens FP8, A40 adalah kad yang salah dan anda harus menapis untuk generasi yang lebih baru dalam senarai di atas.

Sambungan, penskalaan dan kuasa

A40 disambungkan melalui PCIe Gen4 dan menyokong NVLink untuk menghubungkan sepasang kad, yang boleh mempersembahkan kolam memori gabungan 96 GB untuk tugasan yang memerlukan banyak memori. Ia tidak boleh diskalakan merentasi banyak GPU dengan fabrik NVLink padat yang sama (NVSwitch) yang digunakan oleh SXM A100/H100, jadi ia lebih baik dianggap sebagai kad tunggal atau dwi-GPU yang kuat daripada asas kluster latihan lapan hala. Ia adalah papan yang disejukkan secara pasif dan berorientasikan pelayan dalam kelas kira-kira 300 W, yang sebahagian daripada sebab mengapa penyedia boleh mengemasnya dengan padat dan menawarkannya pada kadar yang menarik.

Tugasan mana yang benar-benar sesuai untuk A40

Profil A40 — banyak VRAM, lebar jalur sederhana, ciri AI Ampere penuh, serta teras RT sebenar — menjadikannya sewaan pertengahan yang serba boleh. Ia sesuai untuk:

• Penalaan halus dan LoRA/QLoRA model bahasa bersaiz sederhana, di mana 48 GB membolehkan anda menyimpan keadaan pengoptimum dan urutan yang lebih panjang secara kekal.
• Inferens batch berkelajuan tinggi untuk model dalam julat parameter 7B–34B (terutamanya yang dikuantisasi), di mana kapasiti lebih penting daripada lebar jalur puncak.
• Rendering, 3D, workstation maya dan visualisasi, di mana teras RT dan penimbal bingkai besar sangat berguna — ini adalah kawasan utama kad ini.
• Penglihatan komputer, penjanaan imej model penyebaran, dan eksperimen ML am yang muat dengan selesa dalam 48 GB.

Ia terlampau kuat untuk model kecil atau kerja pembangunan ringan di mana kad yang lebih kecil dan murah sudah memadai, dan ia kurang berkuasa untuk latihan pra-skal frontier model yang sangat besar, di mana anda mahukan lebar jalur HBM, FP8, dan sambungan multi-GPU padat. Untuk inferens masa nyata yang kritikal dari segi latensi dengan kelajuan ekstrim, kad yang dioptimumkan untuk inferens yang lebih baru biasanya akan menang dari segi token sesaat per dolar walaupun VRAMnya kurang.

Menyewa A40: konteks kos dan ketersediaan

Dalam pasaran sewaan, A40 biasanya berada dalam peringkat pertengahan — jauh lebih murah sejam berbanding kad HBM kelas A100/H100, tetapi di atas GPU pengguna peringkat permulaan. Tarikannya adalah kos per gigabait VRAM: apabila halangan anda adalah memuatkan model dalam memori dan bukan mengira pada lebar jalur maksimum, A40 sering kali cara paling ekonomik untuk mendapatkan 48 GB. Kerana ia adalah kad yang matang dan digunakan secara meluas, ketersediaan atas permintaan biasanya baik dan ia kurang terdedah kepada kekurangan dan senarai menunggu yang menimpa pemecut terbaru.

Ramai penyedia juga menawarkannya pada peringkat spot atau boleh diganggu dengan diskaun lebih lanjut, yang sesuai untuk penalaan halus yang disandarkan dan tugasan batch yang boleh menerima permulaan semula. Kadar tepat sentiasa berubah dan berbeza mengikut penyedia, wilayah, dan komitmen, jadi gunakan perbandingan di atas untuk harga per jam secara langsung dan bukannya angka tetap — dan apabila anda membandingkan, timbangkan antara atas permintaan dan spot, ketepatan bil, dan sama ada pasangan NVLink ditawarkan jika anda memerlukan kolam gabungan 96 GB.

Soalan lazim

Berapa banyak VRAM yang dimiliki NVIDIA A40?

A40 mempunyai 48 GB memori GDDR6 dengan ECC. Kapasiti besar itu adalah tarikan utamanya untuk sewaan, membolehkan anda menala halus model bersaiz sederhana atau menjalankan inferens model besar yang dikuantisasi pada satu kad.

Adakah A40 sesuai untuk melatih model bahasa besar?

Ia sesuai untuk penalaan halus dan latihan model bersaiz sederhana terima kasih kepada kolam 48 GB, tetapi ia tidak ideal untuk pra-latihan skala frontier. Untuk itu anda mahukan lebar jalur HBM, sokongan FP8, dan sambungan multi-GPU padat yang terdapat pada kad Hopper atau Blackwell yang lebih baru — tapis senarai di atas untuk itu jika pra-latihan adalah matlamat anda.

Bagaimana perbandingan A40 dengan A100?

Kedua-duanya adalah Ampere, tetapi A100 menggunakan memori HBM2e berlebar jalur tinggi untuk lebar jalur yang jauh lebih besar dan menyokong penskalaan NVSwitch padat, menjadikannya lebih kuat untuk latihan skala besar. A40 menukar lebar jalur itu dengan kolam GDDR6 48 GB yang besar serta teras RT, dan disewa dengan harga lebih rendah — lebih sesuai apabila kapasiti dan kos lebih penting daripada kelajuan puncak.

Adakah A40 menyokong NVLink untuk tugasan multi-GPU?

Ya, dua A40 boleh dihubungkan dengan NVLink untuk mempersembahkan kolam memori gabungan 96 GB, yang membantu untuk model yang tidak muat pada satu kad. Namun, ia tidak boleh diskalakan merentasi banyak GPU dengan fabrik padat yang digunakan oleh kad pusat data SXM, jadi anggaplah ia sebagai sewaan GPU tunggal atau dwi-GPU.