Wie hoch ist die Spitzenleistung in FP16 von NVIDIA RTX A5000?

Antwort

Veröffentlicht im 2021, ist NVIDIA RTX A5000 ein Ampere-Klassen-Beschleuniger mit 24 GB GDDR6, 768 GB/s Speicherbandbreite und 32.8 FP16 TFLOPS Rechenleistung. FP32 erreicht Spitzenwerte von 27.8 TFLOPS und die Karte zieht bis zu 230W.

Praktisch bedeutet das: genug VRAM, um Modelle im Bereich von etwa 24 Milliarden Parametern in FP16 zu laden (größer mit Quantisierung), genug Bandbreite, um speicherhungrige Aufmerksamkeits-Schichten nicht zu verlangsamen, und genug Rechenleistung, um Transformer mit Batch-Größen zu trainieren, die moderne Optimierer auslasten.

The NVIDIA RTX A5000 page has the complete datasheet and side-by-side comparisons.