Sewa NVIDIA L40 di Cloud

Versi singkat dari lembar spesifikasi NVIDIA L40: 48 GB GDDR6, 864 GB/s, 181 TFLOPS FP16, 90.5 TFLOPS FP32, Ada Lovelace (2023), 300W.

Versi panjang: kartu ini dioptimalkan untuk perkalian matriks presisi campuran pada tensor besar, yang memang dibutuhkan oleh pelatihan dan inferensi produksi transformer. Bandwidth cukup besar untuk menghindari jeda pada operasi perhatian, dan kapasitas VRAM mencakup ukuran model modern tanpa perlu memindahkan data ke memori CPU.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.

Judul performa NVIDIA L40: 181 TFLOPS FP16, 90.5 TFLOPS FP32, 864 GB/s bandwidth, 48 GB VRAM.

Dikonversi ke benchmark praktis: pelatihan model LLM 7B parameter dalam FP16 dengan ukuran batch wajar biasanya memaksimalkan komputasi sebelum bandwidth; penyajian waktu nyata pada model yang sama biasanya terikat bandwidth dan mengikuti angka 864 GB/s. Benchmark generasi gambar difusi berada di antara keduanya — langkah berat komputasi memanfaatkan tensor core dengan baik, sementara blok perhatian masih menggunakan bandwidth.

Check the NVIDIA L40 page for complete specifications and related GPU matchups.

NVIDIA L40 paling baik untuk beban kerja di mana VRAM 48 GB dan tensor core Ada Lovelace-nya cocok dengan baik: Inference, video processing, rendering.

Jika beban kerja Anda membutuhkan memori yang jauh lebih besar (misalnya, pelatihan model frontier dari awal), NVIDIA L40 terlalu kecil dan Anda akan menginginkan kartu kelas H100/H200/B200. Jika beban kerja Anda membutuhkan lebih sedikit (misalnya, penyajian skala kecil pada model 7 miliar parameter), kartu yang lebih murah seperti L4 atau RTX 4090 mungkin lebih efisien secara biaya. Untuk rentang tengah, NVIDIA L40 biasanya pilihan yang masuk akal.

Full specs, benchmarks, and comparisons are on the NVIDIA L40 page.