Quantisierung spart unter 3,2 bis 5,2 Mrd. Parametern keine Energie, sondern kostet 25 bis 56 Prozent – FP8 auf RTX 5090 sogar 701 Prozent

Bilanz der Quelle: Eine neue Messreihe mit über 113 Konfigurationen auf RTX 4090D, RTX 5090 und A800 zeigt, dass 4-Bit-Quantisierung bei kleinen Modellen den Energieverbrauch erhöht statt senkt. Erst oberhalb eines GPU-abhängigen Break-even von rund 4,2 bis 5,2 Milliarden Parametern spart NF4 Energie, während FP8 auf der RTX 5090 bis zu 701 Prozent zusätzlichen Verbrauch verursacht.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)