El Allen Institute for AI (Ai2) presenta el marco TutorMoments para medir la capacidad de los grandes modelos de lenguaje de tomar una de las decisiones más difíciles en educación: ¿deben ofrecer al estudiante apoyo adicional para que empiece a resolver el problema, o deben dar un paso atrás y animarlo a realizar una mayor parte del razonamiento por sí mismo? El marco se basa en reproducir momentos reales de sesiones individuales de enseñanza de matemáticas, en lugar de limitarse a pruebas que recompensan un único comportamiento, como ofrecer siempre una pista o abstenerse siempre de revelar la respuesta.
La vista previa del proyecto se publicó en un artículo comunitario del blog de Hugging Face el 7 de agosto de 2026, escrito por Kyle Wiggers en nombre de Ai2Comms. El anuncio incluye un informe técnico, un conjunto de datos disponible en Hugging Face y código para ejecutar el flujo de reevaluación, además de las reproducciones de las sesiones generadas por los modelos para los momentos evaluados.
¿Por qué no basta con dar siempre una respuesta útil?
El proyecto parte de una observación pedagógica: enseñar bien no significa realizar por el estudiante la parte más difícil de la tarea. Un profesor puede plantear una pregunta que le ayude a diagnosticar lo que el estudiante entiende, o dejarle espacio para explicar una respuesta correcta y demostrar su comprensión. En otras ocasiones, el estudiante puede necesitar que el problema se haga más accesible para poder empezar.
Sin embargo, los modelos de lenguaje están entrenados para ser útiles, lo que puede llevarlos a explicar el concepto, organizar los pasos y guiar rápidamente al estudiante hacia la respuesta. Según el artículo, este comportamiento puede acortar lo que se denomina esfuerzo productivo: el esfuerzo difícil o a veces frustrante de resolver el problema, que las investigaciones sobre el aprendizaje relacionan con una comprensión más sólida. Por ello, los desarrolladores de TutorMoments consideran que la pregunta correcta no es si el modelo ofreció una pista o se abstuvo de responder en términos generales, sino si su elección era adecuada para lo que ese estudiante necesitaba en ese momento.
¿Cómo funciona TutorMoments?
La versión preliminar TutorMoments-Preview consta de 462 conversaciones de texto anonimizadas de sesiones reales de enseñanza individual de matemáticas con estudiantes estadounidenses de segundo a séptimo curso. Los datos incluyen más de 1500 momentos clave comentados por los profesores y varios miles de comentarios de texto libre proporcionados por 27 profesores estadounidenses.
Las conversaciones procedían de un programa intensivo de tutoría, y la mayoría de los estudiantes asistía a escuelas subvencionadas por el Título I (Title I). Los datos se pusieron a disposición en virtud de una cláusula de investigación aprobada por padres y tutores. Primero, la entidad que proporcionó los datos eliminó los detalles identificativos y, después, se aplicó un flujo de procesamiento adicional que tenía en cuenta el contenido matemático.
Profesores con experiencia leyeron las transcripciones e identificaron los momentos en los que el docente debía equilibrar el andamiaje, es decir, hacer que el problema fuera más accesible, y el impulso del rigor, es decir, animar al estudiante a realizar un razonamiento más difícil. El sistema detiene la conversación en uno de estos puntos y luego entrega el papel del profesor a un modelo de lenguaje en una sesión simulada de cinco turnos, mientras otro modelo de lenguaje interpreta al estudiante.
A continuación, un sistema de puntuación basado en un modelo de lenguaje evalúa tres aspectos: si el modelo ofreció andamiaje cuando el estudiante lo necesitaba, si lo impulsó hacia un mayor rigor cuando estaba preparado para ello y si evitó un andamiaje excesivo que redujera el nivel de desafío más de lo que requería el momento. El proceso de evaluación comienza con un juicio de referencia establecido por los profesores. Cuando no estaban de acuerdo, se utilizaba la etiqueta mayoritaria; si dos de tres consideraban que el momento requería rigor, ese juicio se adoptaba como resultado de referencia.
¿Qué mostraron los resultados iniciales?
El equipo probó siete modelos de lenguaje utilizando dos tipos de instrucciones. El primero pedía al modelo que enseñara bien sin explicar realmente el equilibrio requerido, mientras que el segundo explicitaba la diferencia entre andamiaje, andamiaje excesivo e impulso del estudiante hacia el rigor. Los momentos se dividieron por igual entre casos en los que el andamiaje era la opción correcta y casos que requerían impulsar más el razonamiento.
Los resultados mostraron que todos los modelos obtuvieron un mejor rendimiento al utilizar instrucciones que explicaban la disyuntiva. Esto indica que el comportamiento predeterminado de un «asistente útil» no basta por sí solo para ofrecer una buena enseñanza. Sin embargo, formular la disyuntiva en las instrucciones no resolvió por completo el problema: los modelos siguieron diferenciándose considerablemente en la fiabilidad con la que tomaban la decisión adecuada, y hasta los mejores modelos conservaron un margen claro de mejora.
El equipo también descubrió que, cuando se les indicaba que impulsaran al estudiante hacia el rigor, los modelos tendían a utilizar estrategias menos variadas que los profesores y a menudo se limitaban a pedirle que explicara su respuesta. En cambio, los profesores humanos empleaban métodos más diversos y eran más propensos a dar un paso atrás y dejar que el estudiante trabajara de forma independiente.
Limitaciones de la comparación y su significado
Los resultados de TutorMoments no deben interpretarse como una prueba de que los profesores humanos son menos competentes que la inteligencia artificial. Cuando se los evaluó con el mismo método, los profesores humanos de los datos obtuvieron puntuaciones de 0,458 en andamiaje adecuado, 0,182 en rigor adecuado y 0,496 en evitación del andamiaje excesivo. Estas puntuaciones fueron inferiores a las de los modelos cuando se utilizaron instrucciones conscientes de la evaluación y cercanas al rango de sus puntuaciones con instrucciones normales.
Sin embargo, el conjunto se diseñó originalmente en torno a momentos en los que los profesores consideraban que la enseñanza podría haber sido mejor, por lo que se centra en oportunidades perdidas y no en una enseñanza ideal. Además, los estudiantes de las reproducciones son simulados por un modelo de lenguaje, lo que significa que las puntuaciones miden el comportamiento del modelo en un punto de decisión, pero no si un estudiante real aprendió realmente.
Los datos también siguen siendo limitados desde el punto de vista geográfico y educativo: se centran en las matemáticas de las etapas primaria y secundaria inferior en Estados Unidos y dependen de un único grupo de educadores. Asimismo, la fuente señala que la detección del impulso del estudiante hacia el rigor es menos fiable que la detección del andamiaje, y que hubo 260 momentos de rigor frente a 738 momentos de andamiaje.
En su forma actual, TutorMoments ofrece una manera más específica de examinar las decisiones pedagógicas que toman los modelos, pero no constituye una alternativa a los estudios que utilizan estudiantes reales y miden los resultados del aprendizaje. El equipo planea recopilar comentarios sobre la vista previa antes de desarrollar un conjunto de datos más grande y multimodal, un sistema de evaluación más sólido y un análisis más profundo.