Sewa NVIDIA L40 di Awan

Versi ringkas helaian spesifikasi NVIDIA L40: 48 GB GDDR6, 864 GB/s, 181 FP16 TFLOPS, 90.5 FP32 TFLOPS, Ada Lovelace (2023), 300W.

Versi panjang: kad ini dioptimumkan untuk pendaraban matriks bercampur-precision pada tensor besar, yang merupakan keperluan tepat latihan transformer dan inferens pengeluaran. Lebar jalur cukup luas untuk mengelakkan kelewatan pada operasi perhatian, dan kapasiti VRAM meliputi saiz model moden tanpa memerlukan pemindahan ke memori CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Tajuk prestasi NVIDIA L40: 181 TFLOPS FP16, 90.5 TFLOPS FP32, 864 GB/s lebar jalur, 48 GB VRAM.

Ditukar kepada penanda aras praktikal: latihan model LLM 7B parameter dalam FP16 dengan saiz kelompok munasabah biasanya menyaturkan pengiraan sebelum lebar jalur; penyajian masa nyata pada model yang sama biasanya terikat lebar jalur dan mengikuti angka 864 GB/s. Penanda aras penjanaan imej difusi berada di antara kedua-duanya — langkah berat pengiraan menggunakan teras tensor dengan baik, manakala blok perhatian masih menggunakan lebar jalur.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 paling sesuai untuk beban kerja di mana 48 GB VRAM dan Ada Lovelace teras tensornya sepadan dengan baik: Inference, video processing, rendering.

Jika beban kerja anda memerlukan memori yang jauh lebih banyak (contohnya, latihan model frontier dari awal), NVIDIA L40 adalah terlalu kecil dan anda perlu kad kelas H100/H200/B200. Jika beban kerja anda memerlukan kurang (contohnya, perkhidmatan skala kecil pada model 7B-parameter), kad yang lebih murah seperti L4 atau RTX 4090 mungkin lebih menjimatkan kos. Untuk julat pertengahan, NVIDIA L40 biasanya pilihan yang munasabah.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.