Hardware, Chips & Cloud

94 Ausgabetokens pro Sekunde auf 12 GB VRAM: Strata 0.1.39 optimiert 125-Milliarden-Modell

1 Min. Lesezeit Kalina

Bilanz der Quelle: Strata 0.1.39 ermöglicht es, ein 125-Milliarden-Parameter-Modell effizient auf einem Standard-Spiel-PC mit 12 Gigabyte VRAM auszuführen. Die Inferenz-Engine verteilt die 24.576 Experten über die Grafikkarte, den Arbeitsspeicher und die SSD, um eine hohe Token-Ausgabe pro Sekunde zu erreichen.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von linuxcompatible.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.

Mehr aus Hardware, Chips & Cloud