İnce ayar için NVIDIA GeForce RTX 3080 A100’den daha mı hızlı?

Cevap

NVIDIA GeForce RTX 3080 üzerindeki ham hesaplama gücü 29.8 FP16 TFLOPS ve 14.9 FP32 TFLOPS zirvesine ulaşır, 760 GB/s bellek bant genişliği hesaplama birimlerini besler. Ampere mimarisi, modern dönüştürücüler için en önemli formatlar olan BF16/FP16 / FP8 karışık hassasiyet için optimize edilmiş tensör çekirdekleri getirir.

Gerçek dünya model eğitimi verimliliği büyük toplu boyutlarda teorik zirvelere yakın ölçeklenir; daha küçük toplular bellek sınırlıdır. Düşük gecikmeli çıkarımda, Llama 70B gibi dönüştürücülerde token/saniye kuantizasyon stratejisine çok bağlıdır — FP8/INT8 hesaplama tavanını açarken, FP16 bant genişliği sınırlıdır.

The NVIDIA GeForce RTX 3080 page has the complete datasheet and side-by-side comparisons.