Bewertung von KI-Agenten anhand des Datenbankzustands statt der Textausgabe

Am 3. Oktober 2026 haben Microsoft und Hugging Face gemeinsam ThinkingBox veröffentlicht, ein neues Bewertungsframework für autonome KI-Agenten. Dieser Ansatz verlagert den Fokus von der Bewertung der vom Agenten generierten Antworten in natürlicher Sprache auf die Überprüfung der tatsächlichen Zustandsänderungen, die er in Backend-Systemen hinterlässt. Die Initiative hebt eine kritische Lücke in aktuellen Testmethoden hervor, bei denen Agenten in Protokollen erfolgreich erscheinen können, obwohl sie die erforderliche Geschäftslogik nicht korrekt ausführen.

Was passiert ist

Die zentrale Erkenntnis hinter ThinkingBox ist, dass ein Agent eine Reihe korrekter Tool-Aufrufe durchführen, eine höfliche und professionelle Abschlussnachricht generieren und dennoch das gewünschte Ergebnis verfehlen kann. In einer bereitgestellten Demonstration bearbeitete ein Support-Agent einen Fall mit einem verspäteten Küchengerät. Der Agent las die Richtlinie, führte neun Tool-Aufrufe durch und schloss das Ticket mit einer Nachricht, die besagte, dass das Problem gelöst sei. Der erforderliche Endzustand für einen solchen Fall war jedoch, die Bestellung aufzuhalten (Hold), sie nicht als gelöst zu markieren. Während ein traditioneller Bewerter, der das Gesprächstranskript betrachtet, dies als Erfolg werten würde, zeigt eine Überprüfung der Datenbank, dass der Kunde nie die richtige Lösung erhalten hat.

Diese Diskrepanz ist nicht nur theoretisch. Die Autoren analysierten eine Common-Set-Ablation mit 121.680 gültigen Versuchen über 12 verschiedene Modelle hinweg. Sie stellten fest, dass 79.853 Versuche ausführbare Prüfungen nicht bestanden. Unter diesen Fehlern endeten 67,24 % sauber, riefen zustandsändernde Tools auf und meldeten keine Fehler. Trotz des sauberen Abschlusses ergab eine weitere Inspektion falsche Feldwerte in 77,61 % dieser Fälle, unbeabsichtigte zusätzliche Effekte in 43,30 % und fehlende erforderliche Effekte in 25,36 %. Diese sich überschneidenden Probleme zeigen, dass ein grüner Trace in Monitoring-Tools keinen bestandenen Zustand im System of Record garantiert.

Um dies anzugehen, schlägt das Framework einen strengen Validierungsschleifenprozess vor. Teams müssen den erforderlichen Endzustand in spezifischen Feldern definieren, bevor der Lauf beginnt. Nachdem der Agent seine letzte ändernde Aktion ausgeführt hat, muss das System den Datensatz direkt aus der Datenbank zurücklesen und dabei die Zusammenfassung des Agenten ignorieren. Kundenbezogene Aktionen sollten nur fortgesetzt werden, wenn dieses Rücklesen bestätigt, dass die Felder den Anforderungen entsprechen. Dieser Prozess erstellt einen Beleg, der genau dokumentiert, was übereinstimmte, was nicht übereinstimmte und welche unerwarteten Schreibvorgänge stattfanden, um sicherzustellen, dass die Definition von „Done“ auf Datenintegrität basiert und nicht auf sprachlicher Flüssigkeit.

Wichtige Details

• ThinkingBox wurde am 3. Oktober 2026 von Microsoft und Hugging Face veröffentlicht.
• Bei 121.680 Versuchen endeten 67,24 % der fehlgeschlagenen Versuche immer noch sauber, ohne Fehler zu melden.
• Falsche Feldwerte wurden in 77,61 % der sauber beendeten, aber fehlgeschlagenen Versuche gefunden.
• Claude Opus 5.5 erreichte einen pass@1-Score von 67,16 %, bestand aber alle 20 Versuche nur bei 241 Aufgaben.
• Kimi-K3 löste 476 von 507 Aufgaben mindestens einmal, erreichte aber konsistenten Erfolg nur bei 68 Aufgaben.
• Etwa 79,9 % der Fehler waren auf Probleme bei der Tool-Behandlung zurückzuführen, nicht auf Denkfehler.

Hintergrund

Im traditionellen Softwaretesting verlassen sich Ingenieure oft auf Unit-Tests, die Funktionsausgaben prüfen, oder Integrationstests, die API-Antworten verifizieren. Für KI-Agenten, die über eine Sequenz von Tool-Aufrufen mit Systemen interagieren, konzentrierten sich Bewertungen weitgehend auf die „Trajectory“ oder den Pfad, den der Agent genommen hat. Dies umfasst die Prüfung, ob die richtigen Tools in der richtigen Reihenfolge aufgerufen wurden und ob die finale Nachricht angemessen war. Diese Methode geht davon aus, dass das Ergebnis korrekt ist, wenn die Schritte korrekt aussehen. Autonome Agenten operieren jedoch in nicht-deterministischen Umgebungen, in denen Tool-Antworten variieren können und interne Systemzustände möglicherweise nicht mit der Wahrnehmung des Agenten übereinstimmen.

ThinkingBox führt das Konzept ein, dass eine Trajectory lediglich eine Behauptung ist, während der Datenbankzustand der Beweis ist. Indem die Aktionen des Agenten als Hypothese über den Systemzustand behandelt werden, können Entwickler Post-Execution-Verifikationen nutzen, um diese Hypothese zu validieren. Dies geht über einfache Pass/Fail-Metriken basierend auf einzelnen Läufen hinaus. Es betont Wiederholbarkeit und fragt, ob ein Agent den korrekten Zustand konsistent über mehrere Versuche hinweg von einem sauberen Startpunkt aus erreichen kann, anstatt nur einmal Glück zu haben.

Warum es wichtig ist

Für Teams, die Self-Hosted-Software betreiben oder interne Automatisierungen verwalten, ist diese Unterscheidung entscheidend für die Zuverlässigkeit. Wenn Sie einen Agenten einsetzen, um User Support, Bestandsaktualisierungen oder Finanztransaktionen zu bearbeiten, ist es ein erhebliches Risiko, der finalen Nachricht des Agenten zu vertrauen. Ein Agent könnte selbstbewusst berichten, dass eine Rückerstattung verarbeitet wurde, weil das Payment-Gateway einen generischen Erfolgscode zurückgab, auch wenn das interne Ledger aufgrund eines Race Conditions oder eines Schema-Mismatches nicht aktualisiert wurde. Ohne Überprüfung des tatsächlichen Datensatzes bleibt Ihr Team möglicherweise bis zur Beschwerde der Kunden unwissentlich über systemische Datenkorruption.

Darüber hinaus beeinflusst dieser Ansatz, wie Sie Modelle auswählen und optimieren. Die Benchmark-Daten zeigen, dass höhere Headline-Scores nicht unbedingt zu besserer Verlässlichkeit führen. Claude Opus 5.5 hatte einen leicht höheren pass@1-Score als Claude Opus 5, aber beide Modelle erreichten konsistenten Erfolg bei derselben Anzahl von Aufgaben. Die Auswahl eines Modells basierend auf seiner Fähigkeit, eine Aufgabe mindestens einmal zu lösen, anstatt jedes Mal, führt zu fragilen Produktionssystemen. Das Verständnis, dass die meisten Fehler aus der Tool-Behandlung resultieren und nicht aus dem Reasoning, legt nahe, dass Engineering-Bemühungen sich auf robuste Retry-Policies und kleinere, zuverlässigere Tool-Oberflächen konzentrieren sollten, anstatt einfach auf größere Modelle upzugraden.

Was Sie tun können

• Definieren Sie den erforderlichen Endzustand für Ihre Agent-Workflows unter Verwendung spezifischer Datenbankfelder vor der Ausführung.
• Implementieren Sie einen Post-Write-Readback-Schritt, der das System of Record abfragt, nachdem der Agent seine Aufgabe abgeschlossen hat.
• Blockieren Sie kunden sichtbare Benachrichtigungen, bis das Readback bestätigt, dass alle erforderlichen Felder dem erwarteten Zustand entsprechen.
• Generieren Sie einen Diff-Beleg für jeden Lauf, der übereinstimmende Felder, nicht übereinstimmende Felder und unbeabsichtigte Seiteneffekte auflistet.
• Führen Sie Ihre kritischen Workflows mehrfach von einem sauberen Zustand aus durch, um Konsistenz zu messen, und zielen Sie auf Every-of-k-Erfolg statt Best-of-k.
• Prüfen Sie Ihre aktuellen Evaluationsmetriken daraufhin, ob sie Agenten nicht für höfliche, aber inkorrekte Abschlüsse belohnen.