Das Allen Institute for AI (Ai2) stellt das TutorMoments-Framework vor, um die Fähigkeit großer Sprachmodelle zu messen, eine der schwierigsten Entscheidungen im Bildungsbereich zu treffen: Soll es dem Schüler zusätzliche Unterstützung geben, damit er mit der Lösung der Aufgabe beginnen kann, oder soll es sich zurücknehmen und ihn dazu bringen, einen größeren Teil des Denkens selbst zu leisten? Das Framework basiert auf der Wiederaufnahme echter Momente aus Einzelunterrichtssitzungen in Mathematik, statt sich auf Tests zu beschränken, die ein einziges Verhalten belohnen, etwa immer einen Hinweis zu geben oder immer darauf zu verzichten, die Antwort zu verraten.
Eine Vorschau des Projekts wurde am 7. August 2026 in einem Community-Artikel im Hugging-Face-Blog veröffentlicht. Verfasst wurde der Artikel von Kyle Wiggers im Namen von Ai2Comms. Die Ankündigung umfasst einen technischen Bericht, einen auf Hugging Face verfügbaren Datensatz, den Code zum Ausführen der Neubewertungspipeline sowie die von den Modellen erstellten Sitzungswiederholungen für die bewerteten Momente.
Warum reicht eine stets hilfreiche Antwort nicht aus?
Das Projekt geht von der pädagogischen Beobachtung aus, dass guter Unterricht nicht bedeutet, den schwierigsten Teil der Aufgabe anstelle des Schülers zu erledigen. Ein Lehrer kann eine Frage stellen, die ihm hilft zu erkennen, was der Schüler versteht, oder ihm Raum lassen, eine richtige Antwort zu erklären und sein Verständnis unter Beweis zu stellen. Zu anderen Zeiten muss die Aufgabe für den Schüler möglicherweise leichter zugänglich gemacht werden, damit er beginnen kann.
Sprachmodelle werden jedoch darauf trainiert, hilfreich zu sein. Das kann sie dazu bringen, das Konzept zu erklären, die Schritte zu ordnen und den Schüler schnell zur Antwort zu führen. Laut dem Artikel kann dieses Verhalten das sogenannte produktive Ringen verkürzen, also die schwierige oder mitunter frustrierende Anstrengung, ein Problem zu lösen, die in der Lernforschung mit einem besseren Verständnis verbunden wird. Daher sind die Entwickler von TutorMoments der Ansicht, dass die richtige Frage nicht lautet, ob das Modell allgemein einen Hinweis gegeben oder die Antwort zurückgehalten hat, sondern ob seine Wahl zu dem passte, was dieser Schüler in diesem Moment benötigte.
Wie funktioniert TutorMoments?
Die Vorschauversion TutorMoments-Preview besteht aus 462 anonymisierten Textgesprächen aus echten Einzelunterrichtssitzungen in Mathematik mit amerikanischen Schülern der zweiten bis siebten Klasse. Die Daten umfassen mehr als 1500 zentrale Momente, die von Lehrern kommentiert wurden, sowie mehrere Tausend frei formulierte Textkommentare von 27 amerikanischen Lehrern.
Die Gespräche stammten aus einem intensiven Tutoring-Programm; die meisten Schüler besuchten Schulen, die durch Title I unterstützt wurden. Die Daten wurden im Rahmen einer Forschungsbestimmung bereitgestellt, der Eltern und Erziehungsberechtigte zugestimmt hatten. Identifizierende Details wurden zunächst von der datenbereitstellenden Stelle entfernt und anschließend durch eine zusätzliche Verarbeitungspipeline bereinigt, die mathematische Inhalte berücksichtigt.
Erfahrene Lehrer lasen die Texte und markierten Momente, in denen der Lehrer zwischen Unterstützung, also dem Zugänglichermachen der Aufgabe, und dem Fördern von Strenge, also der Ermutigung des Schülers, anspruchsvolleres Denken zu leisten, abwägen musste. Das System hält das Gespräch an einem dieser Punkte an und übergibt die Lehrerrolle in einer fünfrundigen simulierten Sitzung an ein Sprachmodell, während ein anderes Sprachmodell die Rolle des Schülers übernimmt.
Anschließend bewertet eine auf einem Sprachmodell basierende Bewertungs-Pipeline drei Aspekte: Hat das Modell Unterstützung gegeben, als der Schüler sie benötigte? Hat es ihn zu mehr Strenge angehalten, als er dafür bereit war? Und hat es übermäßige Unterstützung vermieden, die das Anspruchsniveau stärker senkt, als es der Moment erfordert? Der Bewertungsprozess beginnt mit einem von den Lehrern festgelegten Referenzurteil. Wenn sie unterschiedlicher Meinung waren, wurde die Mehrheitskennzeichnung verwendet; wenn zwei von drei Personen der Ansicht waren, dass der Moment Strenge erforderte, wurde dieses Urteil als Referenzergebnis übernommen.
Was zeigten die ersten Ergebnisse?
Das Team testete sieben Sprachmodelle mit zwei Arten von Anweisungen. Die erste Art fordert das Modell auf, gut zu unterrichten, ohne die erforderliche Abwägung tatsächlich zu erklären. Die zweite Art erläutert ausdrücklich den Unterschied zwischen Unterstützung, übermäßiger Unterstützung und dem Anhalten des Schülers zu mehr Strenge. Die Momente wurden gleichmäßig auf Fälle verteilt, in denen Unterstützung die richtige Wahl war, und Fälle, in denen stärker zum Denken angehalten werden musste.
Die Ergebnisse zeigten, dass alle Modelle mit Anweisungen, die den Zielkonflikt erklären, besser abschnitten. Dies deutet darauf hin, dass das standardmäßige Verhalten eines „hilfreichen Assistenten“ allein nicht ausreicht, um guten Unterricht zu leisten. Die Formulierung des Zielkonflikts in den Anweisungen löste das Problem jedoch nicht vollständig: Die Modelle unterschieden sich weiterhin erheblich darin, wie zuverlässig sie die passende Entscheidung trafen, und selbst die besten Modelle hatten noch deutlichen Verbesserungsbedarf.
Das Team stellte außerdem fest, dass die Modelle bei der Aufforderung, den Schüler zu mehr Strenge anzuhalten, weniger vielfältige Strategien als die Lehrer verwendeten und sich häufig darauf beschränkten, den Schüler aufzufordern, seine Antwort zu erklären. Die menschlichen Lehrer nutzten dagegen vielfältigere Methoden und zogen sich eher zurück, sodass der Schüler selbstständig arbeiten konnte.
Grenzen des Vergleichs und seine Bedeutung
Die Ergebnisse von TutorMoments sollten nicht als Beleg dafür gelesen werden, dass menschliche Lehrer weniger kompetent seien als künstliche Intelligenz. Die menschlichen Lehrer in den Daten erhielten bei einer Bewertung nach derselben Methode Werte von 0,458 für angemessene Unterstützung, 0,182 für angemessene Strenge und 0,496 für die Vermeidung übermäßiger Unterstützung. Diese Werte lagen unter den Ergebnissen der Modelle bei Verwendung bewertungsbewusster Anweisungen und nahe am Wertebereich der Modelle mit den normalen Anweisungen.
Die Sammlung wurde jedoch ursprünglich rund um Momente zusammengestellt, in denen die Lehrer der Ansicht waren, dass der Unterricht hätte besser sein können. Daher konzentriert sie sich auf verpasste Chancen und nicht auf idealen Unterricht. Außerdem werden die Schüler in den Wiederholungen von einem Sprachmodell simuliert. Das bedeutet, dass die Werte das Verhalten des Modells an einem Entscheidungspunkt messen, nicht aber, ob ein echter Schüler tatsächlich gelernt hat.
Die Daten bleiben geografisch und bildungsbezogen begrenzt: Sie konzentrieren sich auf Mathematik in der Grund- und Mittelstufe innerhalb der Vereinigten Staaten und stützen sich auf eine einzige Gruppe von Pädagogen. Die Quelle weist außerdem darauf hin, dass das Erkennen des Anhaltens zu mehr Strenge weniger zuverlässig ist als das Erkennen von Unterstützung und dass es 260 Momente der Strenge gegenüber 738 Momenten der Unterstützung gab.
TutorMoments bietet in seiner derzeitigen Form eine spezifischere Methode zur Untersuchung pädagogischer Entscheidungen, die Modelle treffen. Es stellt jedoch keinen Ersatz für Studien mit echten Schülern dar, die Lernergebnisse messen. Das Team beabsichtigt, vor der Entwicklung eines größeren multimodalen Datensatzes, einer robusteren Bewertungs-Pipeline und einer umfassenderen Analyse Rückmeldungen zur Vorschau zu sammeln.