Allen Institute for AI（Ai2）は、大規模言語モデルが教育における最も難しい判断の一つを下す能力を測定するためのTutorMomentsフレームワークを提示した。つまり、生徒が問題を解き始められるよう追加の支援を提供するべきか、それとも引いて、生徒自身により多く考えさせるべきかという判断である。このフレームワークは、常にヒントを出す、または常に答えを明かさないといった単一の行動を評価するテストにとどまらず、実際の個別数学指導セッションから得た瞬間を再現することに基づいている。
このプロジェクトのプレビューは、2026年8月7日付のHugging Faceのコミュニティブログ記事で公開され、Ai2Commsを代表してKyle Wiggersが執筆した。発表には、技術報告書、Hugging Faceで利用できるデータセット、再評価パイプラインを実行するコード、さらに評価対象となった瞬間についてモデルが作成したセッションの再現記録が含まれている。
なぜ、常に役立つ応答だけでは不十分なのか？
このプロジェクトは、優れた指導とは、生徒に代わって課題の最も難しい部分を実行することではないという教育上の観察から出発している。教師は、生徒が何を理解しているかを診断する助けとなる質問を投げかけることもあれば、生徒に正しい答えを説明させ、理解を示す余地を残すこともある。また別の場面では、生徒が取り組み始められるよう、問題をより簡単にする必要があるかもしれない。
しかし、言語モデルは役立つよう訓練されているため、概念を説明し、手順を整理し、生徒をすぐに答えへ導こうとする可能性がある。記事によれば、この行動は「生産的な苦闘」と呼ばれるもの、すなわち問題解決のための、ときに難しく苛立たしい努力を短縮してしまう可能性がある。学習研究では、この努力がより強固な理解と結び付けられている。そのためTutorMomentsの開発者は、モデルが一般的にヒントを出したか、答えを控えたかを問うのではなく、その生徒がその瞬間に必要としているものに応じて適切な選択をしたかを問うべきだと考えている。
TutorMomentsはどのように機能するのか？
プレビュー版TutorMoments-Previewは、米国の小学2年生から中学1年生までの生徒を対象とした、実際の個別数学指導セッションの匿名化されたテキスト会話462件で構成されている。データには、教師がコメントを付けた主要な瞬間が1,500件以上含まれ、27人の米国人教師が提供した自由記述のテキストコメントも数千件含まれている。
会話は集中的な指導プログラムから得られたもので、生徒の大半はTitle Iの支援を受ける学校に通っていた。データは、保護者および後見人が同意した研究条項に基づいて公開された。識別情報はまずデータ提供元によって削除され、その後、数学コンテンツを考慮した追加の処理パイプラインによってさらに除去された。
経験豊富な教師がテキストを読み、教師が足場かけ、すなわち問題を取り組みやすくすることと、厳密さの促進、すなわち生徒により難しい思考を促すことの間でバランスを取る必要があった瞬間を特定した。システムはこれらの時点の一つで会話を停止し、5ラウンドのシミュレーションセッションで教師の役割を言語モデルに引き継がせ、別の言語モデルが生徒の役割を担う。
その後、言語モデルに基づく採点パイプラインが三つの側面を評価する。生徒が必要としていたときにモデルは足場かけを行ったか、生徒が準備できていたときにさらなる厳密さを促したか、そしてその場面で必要とされる以上に挑戦の水準を下げる過剰な足場かけを避けたかである。評価は教師が設定した基準判定から始まる。教師の意見が分かれた場合は多数決のラベルが使われ、3人中2人がその瞬間には厳密さが必要だと判断した場合、その判断が基準結果として採用された。
初期結果は何を示したのか？
チームは7つの言語モデルを、2種類の指示文を用いて検証した。1つ目は、必要なバランスについて実際に説明せず、モデルに優れた指導を求めるものだった。2つ目は、足場かけ、過剰な足場かけ、生徒に厳密さを促すことの違いを明確に説明した。瞬間は、足場かけが正しい選択となる場合と、より強く思考を促す必要がある場合に均等に分けられた。
結果は、すべてのモデルが、トレードオフを説明する指示文を使った場合により高い性能を示した。このことは、モデルが持つデフォルトの「役立つアシスタント」行動だけでは、優れた指導を行うのに不十分であることを示している。ただし、指示文でトレードオフを示しても問題は完全には解決しなかった。適切な判断をどれほど信頼性高く行えるかについて、モデル間には依然として大きな差があり、最も優れたモデルでさえ明確な改善の余地を残していた。
チームはまた、厳密さを促すよう指示された場合、モデルが教師よりも多様性の少ない戦略を使う傾向があることも発見した。モデルは多くの場合、生徒に答えを説明するよう求めていた。一方、人間の教師はより多様な方法を用い、生徒が自主的に取り組めるよう引いて見守る傾向が強かった。
比較の限界とその意味
TutorMomentsの結果を、人間の教師がAIより能力が低い証拠として読むべきではない。データ中の人間の教師は、同じ方法で評価された場合、適切な足場かけで0.458、適切な厳密さで0.182、過剰な足場かけの回避で0.496のスコアを得た。これらのスコアは、評価を意識した指示文を使ったモデルのスコアより低く、通常の指示文を使ったモデルのスコア範囲に近かった。
しかし、このデータセットはもともと、教師が指導をより良くできたと考えた瞬間を中心に設計されている。そのため、理想的な指導ではなく、取り逃した機会に焦点を当てている。また、再現セッションの生徒は言語モデルによってシミュレートされているため、スコアはモデルが意思決定の時点で示す行動を測定するものであり、実際の生徒が本当に学習したかどうかを測定するものではない。
データは地理的にも教育的にも限られている。米国の初等・中等教育段階における数学に焦点を当て、単一の教育者集団に依存している。また、情報源は、生徒に厳密さを促す行動の検出は足場かけの検出より信頼性が低く、厳密さの瞬間は260件で、足場かけの瞬間は738件だったと指摘している。
現段階のTutorMomentsは、モデルが下す教育上の判断をより具体的に検証する方法を提示しているが、実際の生徒を用いて学習成果を測定する研究に取って代わるものではない。チームは、より大規模でマルチモーダルなデータセット、より強力な評価パイプライン、より深い分析を開発する前に、プレビューに関する意見を集める予定である。