Wie hoch ist die Spitzenleistung in FP16 von NVIDIA GeForce RTX 3070?

Antwort

Veröffentlicht im 2020, ist NVIDIA GeForce RTX 3070 ein Ampere-Klassen-Beschleuniger mit 8 GB GDDR6, 448 GB/s Speicherbandbreite und 20.3 FP16 TFLOPS Rechenleistung. FP32 erreicht Spitzenwerte von 10.2 TFLOPS und die Karte zieht bis zu 220W.

Praktisch bedeutet das: genug VRAM, um Modelle im Bereich von etwa 8 Milliarden Parametern in FP16 zu laden (größer mit Quantisierung), genug Bandbreite, um speicherhungrige Aufmerksamkeits-Schichten nicht zu verlangsamen, und genug Rechenleistung, um Transformer mit Batch-Größen zu trainieren, die moderne Optimierer auslasten.

See the NVIDIA GeForce RTX 3070 page for the full spec sheet and comparisons to related GPUs.