Eine von NVIDIA veröffentlichte Studie kam zu dem Ergebnis, dass die Softwareschicht rund um ein KI-Modell die Leistung des Agenten stärker beeinflussen kann als das Basismodell selbst, insbesondere wenn die Aufgabe lang andauert und eine lange Folge von Entscheidungen erfordert. Zu dieser Schicht gehören Werkzeuge, Speicherverwaltung, Regeln für die Kontextnutzung, Feedbackmechanismen sowie die Laufzeitumgebung, die verfügbaren Fähigkeiten und Bibliotheken des Modells.
Das Experiment zeigte, dass der Einsatz eines maßgeschneiderten Harness, der für den Umgang mit Speicher entwickelt wurde und eine Überwachungskomponente hinzufügte, Claude Opus 5 ermöglichte, im ARC-AGI-3-Test für interaktives Schlussfolgern ein vollständiges Ergebnis von 100 % zu erzielen. Der Test umfasst zweidimensionale Spiele ohne direkte Anweisungen. Das Modell muss die Spielweise und den Weg zum Sieg erschließen – eine Aufgabe, die dem Versuch eines Menschen ähnelt, ein neues Spiel zu verstehen. Vor dem Einsatz des Harness erzielte das Modell 30 %, das höchste Ergebnis unter den ohne ihn getesteten Modellen.
Was fügt der Harness dem Modell hinzu?
Das Sprachmodell übernimmt die Rolle des „Gehirns“, das Entscheidungen trifft, arbeitet innerhalb des Agentensystems jedoch nicht allein. Der Harness legt fest, wie Informationen gespeichert und abgerufen werden, welche Werkzeuge das Modell verwenden kann und wie Schritte organisiert und Ergebnisse überprüft werden. Laut Adel El Hallack, Vizepräsident für Produkte in der KI-Sparte von NVIDIA, beschränkt sich ein Agent nicht auf eine Programmierschnittstelle für das Modell, sondern besteht aus dem Modell, den es umgebenden Gerüsten, den Werkzeugen, der Laufzeitumgebung, den zugehörigen Fähigkeiten und Bibliotheken.
Diese Elemente gewinnen bei Aufgaben mit langem Zeithorizont besondere Bedeutung. Dabei handelt es sich um Aufgaben, bei denen zahlreiche Entscheidungen über Stunden oder Tage hinweg miteinander verknüpft werden müssen, um ein vollständiges Ergebnis zu erreichen, anstatt eine einzelne Antwort auf eine kurze Anfrage zu liefern. Je länger der Ablauf ist, desto größer ist die Wahrscheinlichkeit, dass der Kontext verloren geht, Schritte wiederholt werden oder der Prozess in eine unproduktive Richtung abdriftet.
Die Rolle des „Überwachers“ bei der Vermeidung von Abweichungen
Das herausragendste Merkmal des NVIDIA-Designs war die Hinzufügung eines Überwachungsagenten neben dem Hauptagenten, der die Aufgabe ausführt. Diese Komponente arbeitet laut El Hallacks Beschreibung ähnlich wie ein Geschäftsführer: Sie lenkt den Agenten in die richtige Richtung, wenn er ins Stocken gerät, warnt ihn, wenn er einen Weg einschlägt, der in eine Sackgasse führen könnte, oder fordert ihn auf, einen zuvor getesteten Lösungsweg erneut zu prüfen.
Die Idee eines Überwachungsagenten ist nicht neu, doch viele aktuelle Agentenwerkzeuge setzen im Harness nur auf eine einzige Schicht, etwa Claude Code, Codex und Hermes. Dem Artikel zufolge entwickelten NVIDIA-Forscher für diesen Test einen erweiterten Harness namens Agentic Variation Operators (AVO). Dadurch konnten sie Speicherverwaltung und Überwachung fortschrittlicher testen.
Was bedeutet das für Nutzer von Agenten?
Die Ergebnisse zeigen, dass die Wahl des leistungsfähigsten oder neuesten Modells allein nicht ausreicht, um einen zuverlässigen Agenten zu entwickeln. Dasselbe Modell kann beim Betrieb in unterschiedlichen Harnesses grundlegend verschiedene Ergebnisse erzielen, weil das Speicherdesign, die Kontextverwaltung und die Überprüfung von Entscheidungen seine praktische Arbeitsweise verändern. Das ist für Teams wichtig, die Agenten für Programmierung, die Bearbeitung von Dokumenten oder die Ausführung mehrstufiger Abläufe entwickeln, denn die Konstruktion des Systems rund um das Modell kann ein entscheidender Faktor für Genauigkeit und Stabilität sein.
Dieses Ergebnis folgt auf weitere Hinweise auf die Schwierigkeit von Aufgaben mit langem Zeithorizont. Im April testete Microsoft 19 große Sprachmodelle bei Aufgaben im Zusammenhang mit der Bearbeitung von Dokumenten und stellte fest, dass alle Modelle, einschließlich der fortschrittlichen Modelle, Fehler in den Dateien verursachten. Außerdem wurden Fälle beobachtet, in denen Modelle, die aufeinanderfolgende Entscheidungen treffen, die Dateien der Nutzer oder vollständige Datenbanken löschten oder auf kriminelle Verhaltensweisen wie Kollusion und Hacking zurückgriffen, um ihre Ziele zu erreichen.
Der ARC-AGI-3-Test gewinnt zusätzliche Bedeutung, weil OpenAI-Modelle darin Ergebnisse von unter 10 % erzielten, was das Unternehmen im Vormonat dazu veranlasste, eine eigene Untersuchung durchzuführen. OpenAI stellte fest, dass die Anpassung von nur zwei Einstellungen im Harness die Ergebnisse seiner Modelle verdreifachte. Das Unternehmen erreichte jedoch nicht das Ergebnis von 100 %, das NVIDIA mit seinem Design im genannten Test erzielte.
Auswirkungen auf Kosten und Offenheit
NVIDIA präsentiert dieses Ergebnis nicht als neues Produkt. Das Unternehmen bietet unter der Marke Nemo offene und kommerzielle Komponenten an, die zum Aufbau von Harnesses für Agenten verwendet werden können. Die AVO-Studie selbst ist jedoch keine Ankündigung eines neuen Produkts. Die Ergebnisse stimmen mit einer im Juli veröffentlichten Studie von Databricks überein, die darauf hinwies, dass der Harness die Kosten des KI-Betriebs erheblich beeinflussen kann. Laut einer Aussage von Ali Ghodsi, dem CEO von Databricks, kann die Verwendung eines ungeeigneten Harness die Kosten selbst beim Betrieb desselben Modells verdoppeln.
Die umfassendere Botschaft der NVIDIA-Studie lautet, dass offene Harnesses den Nutzern mehr Kontrolle über das System geben – ebenso wie offene Modelle ihnen größeren Spielraum bei der Steuerung bieten. Das Unternehmen ist der Ansicht, dass Kontrolle über den Harness, die Infrastruktur und die Laufzeitumgebung notwendig ist, um Agentensysteme auf sicherere Weise voranzubringen. Die Ergebnisse machen die Bedeutung des Modells jedoch nicht hinfällig. Sie weisen vielmehr darauf hin, dass die endgültige Leistung des Agenten das Ergebnis aus dem Modell und der Schicht ist, die seinen Speicher, seine Werkzeuge und seine Entscheidungen organisiert, und nicht allein das Ergebnis des Modells.