L’Allen Institute for AI (Ai2) présente le cadre TutorMoments pour mesurer la capacité des grands modèles de langage à prendre l’une des décisions les plus difficiles dans l’enseignement : doivent-ils fournir à l’élève un soutien supplémentaire afin qu’il commence à résoudre le problème, ou se retirer et le pousser à effectuer davantage de réflexion par lui-même ? Le cadre repose sur la relecture de moments réels issus de séances individuelles d’enseignement des mathématiques, plutôt que sur de simples tests qui récompensent un comportement unique, comme toujours donner un indice ou toujours s’abstenir de révéler la réponse.
Un aperçu du projet a été publié dans un article communautaire du blog de Hugging Face le 7 août 2026, rédigé par Kyle Wiggers au nom d’Ai2Comms. L’annonce comprend un rapport technique, un jeu de données disponible sur Hugging Face et le code permettant d’exécuter le pipeline de réévaluation, ainsi que les reconstitutions de séances générées par les modèles pour les moments évalués.
Pourquoi une réponse toujours utile ne suffit-elle pas ?
Le projet part d’une observation pédagogique : bien enseigner ne signifie pas accomplir la partie la plus difficile de la tâche à la place de l’élève. Un enseignant peut poser une question qui l’aide à diagnostiquer ce que l’élève comprend, ou lui laisser la possibilité d’expliquer une réponse correcte et de démontrer sa compréhension. À d’autres moments, l’élève peut avoir besoin que le problème soit rendu plus accessible afin de pouvoir commencer.
Mais les modèles de langage sont entraînés à être utiles, ce qui peut les pousser à expliquer le concept, organiser les étapes et guider rapidement l’élève vers la réponse. Selon l’article, ce comportement peut réduire ce que l’on appelle la lutte productive, c’est-à-dire l’effort difficile ou parfois frustrant nécessaire pour résoudre le problème, que les recherches sur l’apprentissage associent à une compréhension plus solide. Les concepteurs de TutorMoments estiment donc que la bonne question n’est pas de savoir si le modèle a donné un indice ou s’est généralement abstenu de répondre, mais si son choix correspondait à ce dont cet élève avait besoin à ce moment précis.
Comment fonctionne TutorMoments ?
La version préliminaire TutorMoments-Preview se compose de 462 conversations textuelles anonymisées provenant de véritables séances individuelles d’enseignement des mathématiques avec des élèves américains de la deuxième à la septième année. Les données comprennent plus de 1 500 moments clés commentés par les enseignants, ainsi que plusieurs milliers de commentaires en texte libre fournis par 27 enseignants américains.
Les conversations provenaient d’un programme de tutorat intensif, et la plupart des élèves fréquentaient des écoles bénéficiant du programme Title I. Les données ont été mises à disposition dans le cadre d’une disposition de recherche approuvée par les parents et les tuteurs légaux. Les informations d’identification ont d’abord été supprimées par l’organisme ayant fourni les données, puis par un pipeline de traitement supplémentaire tenant compte du contenu mathématique.
Des enseignants expérimentés ont lu les transcriptions et identifié les moments où l’enseignant devait trouver un équilibre entre le scaffolding, c’est-à-dire rendre le problème plus accessible, et la stimulation de la rigueur, c’est-à-dire encourager l’élève à effectuer une réflexion plus difficile. Le système interrompt la conversation à l’un de ces points, puis confie le rôle de l’enseignant à un modèle de langage lors d’une séance simulée de cinq tours, tandis qu’un autre modèle de langage joue le rôle de l’élève.
Un pipeline de notation fondé sur un modèle de langage évalue ensuite trois aspects : le modèle a-t-il fourni un soutien lorsque l’élève en avait besoin, l’a-t-il poussé vers davantage de rigueur lorsqu’il y était prêt, et a-t-il évité un soutien excessif qui réduirait le niveau de difficulté plus que ne l’exigeait le moment ? L’évaluation commence par un jugement de référence établi par les enseignants. Lorsqu’ils n’étaient pas d’accord, la décision majoritaire était utilisée ; si deux enseignants sur trois estimaient que le moment exigeait davantage de rigueur, ce jugement était retenu comme résultat de référence.
Que montrent les premiers résultats ?
L’équipe a testé sept modèles de langage à l’aide de deux types d’instructions. Le premier demande au modèle de bien enseigner sans expliquer réellement l’équilibre requis, tandis que le second explicite clairement la différence entre le soutien, le soutien excessif et le fait de pousser l’élève vers davantage de rigueur. Les moments étaient répartis à parts égales entre les situations où le soutien constituait le bon choix et celles qui exigeaient de pousser davantage la réflexion.
Les résultats montrent que tous les modèles obtenaient de meilleures performances avec les instructions expliquant le compromis. Cela indique que le comportement par défaut de l’« assistant utile » ne suffit pas à lui seul à fournir un enseignement de qualité. Toutefois, la formulation du compromis dans les instructions n’a pas entièrement résolu le problème : les modèles restaient très différents quant à la fiabilité de leur décision, et même les meilleurs modèles conservaient une marge d’amélioration évidente.
L’équipe a également constaté que, lorsqu’on leur demandait de pousser l’élève vers davantage de rigueur, les modèles avaient tendance à utiliser des stratégies moins variées que les enseignants et s’appuyaient souvent sur une demande invitant l’élève à expliquer sa réponse. En revanche, les enseignants humains employaient des méthodes plus diversifiées et étaient davantage enclins à se retirer pour laisser l’élève travailler de manière autonome.
Limites de la comparaison et signification
Les résultats de TutorMoments ne doivent pas être interprétés comme la preuve que les enseignants humains sont moins efficaces que l’intelligence artificielle. Les enseignants humains présents dans les données ont obtenu, lorsqu’ils étaient évalués de la même manière, des scores de 0,458 pour le soutien approprié, de 0,182 pour la rigueur appropriée et de 0,496 pour l’évitement du soutien excessif. Ces scores étaient inférieurs à ceux des modèles utilisant les instructions conscientes de l’évaluation, et proches de leur plage de scores avec les instructions ordinaires.
Mais le groupe a été conçu à l’origine autour de moments où les enseignants estimaient que l’enseignement aurait pu être meilleur ; il se concentre donc sur les occasions manquées, et non sur l’enseignement idéal. En outre, les élèves des reconstitutions sont simulés par un modèle de langage, ce qui signifie que les scores mesurent le comportement du modèle à un moment de décision, sans déterminer si un élève réel a effectivement appris.
Les données restent également limitées sur les plans géographique et éducatif : elles se concentrent sur les mathématiques dans les niveaux primaire et secondaire aux États-Unis et reposent sur un seul groupe d’éducateurs. La source indique aussi que la détection du fait de pousser l’élève vers davantage de rigueur est moins fiable que celle du soutien, et que le nombre de moments de rigueur s’élevait à 260, contre 738 moments de soutien.
Dans sa forme actuelle, TutorMoments propose une méthode plus précise pour examiner les décisions pédagogiques prises par les modèles, mais il ne constitue pas une alternative aux études utilisant de vrais élèves et mesurant les résultats d’apprentissage. L’équipe prévoit de recueillir des retours sur la version préliminaire avant de développer un jeu de données plus vaste et multimodal, un pipeline d’évaluation plus robuste et une analyse plus approfondie.