Branchen & Business

BACKDROP-Benchmark: Agentenfall von 69,5 auf 31,3 Prozent

1 Min. Lesezeit Kalina

Bilanz der Quelle: Der BACKDROP-Benchmark von Nusrat Jahan Lia und Shubhashis Roy Dipta zeigt, wie viel einer Agentenfähigkeit in sauberer Umgebung in einer von anderen veränderten Welt überlebt. Aus 618 AppWorld-Aufgaben entstehen 3.678 Varianten; Anweisung und korrekter Endzustand bleiben gleich, hinzu kommt jeweils genau eine von vier Störungen: eine Nachricht einer anderen Person, eingebetteter Text in einem Datensatz, die Bitte um eine nie freigegebene App und ein still fehlschlagender Schreibvorgang.
🔗 Im Original weiterlesen → · 🗃 Wayback Machine (Archiv)

ℹ️ KI-Hinweis
Die Inhalte dieses Artikels wurden automatisiert mittels Künstlicher Intelligenz generiert. Die zugrundeliegenden Daten stammen von arxiv.org. Es erfolgte keine manuelle redaktionelle Bearbeitung.