Allen Institute for AI(Ai2)는 대규모 언어 모델이 교육에서 가장 어려운 결정 중 하나를 내릴 수 있는 능력을 측정하기 위한 TutorMoments 프레임워크를 소개한다. 즉, 학생이 문제를 풀기 시작할 수 있도록 추가 지원을 제공할 것인지, 아니면 물러나 학생이 스스로 더 많은 사고를 하도록 이끌 것인지를 판단하는 것이다. 이 프레임워크는 항상 힌트를 주거나 항상 답을 공개하지 않는 것처럼 한 가지 행동을 보상하는 시험에만 의존하는 대신, 실제 일대일 수학 튜터링 세션의 순간을 재현하는 방식에 기반한다.
이 프로젝트의 미리보기는 2026년 8월 7일 Hugging Face 블로그의 커뮤니티 게시물에 실렸으며, Ai2Comms를 대표해 Kyle Wiggers가 작성했다. 발표에는 기술 보고서, Hugging Face에서 이용할 수 있는 데이터 세트, 재평가 파이프라인을 실행하는 코드, 그리고 평가된 순간을 위해 모델이 생성한 세션 재현본이 포함되어 있다.
왜 항상 도움이 되는 응답만으로는 충분하지 않은가?
이 프로젝트는 좋은 가르침이 학생을 대신해 과제에서 가장 어려운 부분을 수행하는 것을 의미하지 않는다는 교육학적 관찰에서 출발한다. 교사는 학생이 무엇을 이해하고 있는지 진단하는 데 도움이 되는 질문을 던질 수도 있고, 학생이 정답을 설명하며 자신의 이해를 입증할 수 있도록 여지를 남길 수도 있다. 다른 때에는 학생이 시작할 수 있도록 문제를 더 쉽게 만들어야 할 수도 있다.
그러나 언어 모델은 도움이 되도록 학습되었기 때문에 개념을 설명하고, 단계를 정리하며, 학생을 빠르게 답으로 이끌 수 있다. 자료에 따르면 이러한 행동은 이른바 생산적 고투, 즉 문제를 해결하기 위해 겪는 어렵고 때로는 좌절스러운 노력을 줄일 수 있으며, 학습 연구에서는 이를 더 강한 이해와 연관 짓는다. 따라서 TutorMoments 개발자들은 올바른 질문이 모델이 일반적으로 힌트를 제공했는지 또는 답변을 삼갔는지가 아니라, 그 선택이 그 순간 해당 학생에게 필요한 것에 적절했는지 여부라고 본다.
TutorMoments는 어떻게 작동하는가?
TutorMoments-Preview 미리보기 버전은 미국 2학년부터 7학년 학생들과 진행한 실제 일대일 수학 튜터링 세션의 비식별화된 텍스트 대화 462개로 구성된다. 데이터에는 교사들이 주석을 단 1,500개 이상의 주요 순간과 27명의 미국 교사가 제공한 수천 개의 자유 형식 텍스트 주석이 포함되어 있다.
대화는 집중 튜터링 프로그램에서 수집되었으며, 학생 대부분은 Title I 지원 학교에 다녔다. 데이터는 부모와 보호자가 동의한 연구 조항에 따라 공개되었고, 식별 정보는 먼저 데이터를 제공한 기관이 삭제한 뒤 수학 내용도 고려하는 추가 처리 파이프라인을 거쳤다.
경험 많은 교사들은 텍스트를 읽고 교사가 비계 제공, 즉 문제에 더 쉽게 접근할 수 있도록 만드는 것과, 엄밀성 촉진, 즉 학생이 더 어려운 사고를 하도록 장려하는 것 사이에서 균형을 맞춰야 했던 순간을 지정했다. 시스템은 이러한 지점 중 하나에서 대화를 멈춘 다음, 5라운드의 시뮬레이션 세션에서 교사의 역할을 언어 모델에 넘기고 다른 언어 모델이 학생 역할을 맡도록 한다.
그런 다음 언어 모델 기반 채점 파이프라인은 세 가지 측면을 평가한다. 모델이 학생에게 필요할 때 비계를 제공했는지, 학생이 준비되었을 때 더 높은 엄밀성을 향해 이끌었는지, 그리고 해당 순간에 필요한 수준보다 도전 과제를 지나치게 낮추는 과도한 비계 제공을 피했는지 여부다. 평가는 교사들이 설정한 기준 판단에서 시작된다. 교사들의 의견이 다를 경우 다수 의견의 라벨을 사용한다. 예를 들어 세 명 중 두 명이 해당 순간에 엄밀성이 필요하다고 판단하면, 그 판단을 기준 결과로 채택한다.
초기 결과는 무엇을 보여주었는가?
연구팀은 두 종류의 지침을 사용해 7개의 언어 모델을 시험했다. 첫 번째 유형은 모델에 필요한 균형을 실제로 설명하지 않은 채 훌륭하게 가르치도록 요청한다. 두 번째 유형은 비계 제공, 과도한 비계 제공, 학생을 엄밀성으로 이끄는 것 사이의 차이를 명시적으로 설명한다. 순간들은 비계 제공이 올바른 선택인 경우와 사고를 더 많이 촉진해야 하는 경우로 균등하게 나뉘었다.
결과에 따르면 모든 모델은 이러한 절충을 설명하는 지침을 사용했을 때 더 나은 성능을 기록했다. 이는 기본적인 ‘도움이 되는 조력자’ 행동만으로는 좋은 가르침을 제공하기에 충분하지 않다는 점을 시사한다. 그러나 지침에 절충을 명시하는 것이 문제를 완전히 해결하지는 못했다. 적절한 결정을 내리는 신뢰성에서 모델 간 차이는 여전히 컸고, 최고의 모델조차 분명한 개선 여지가 남아 있었다.
연구팀은 또한 학생을 엄밀성으로 이끌라는 지시를 받았을 때 모델이 교사보다 덜 다양한 전략을 사용하는 경향이 있으며, 대체로 학생에게 자신의 답을 설명하라고 요구하는 방식에 의존한다는 사실을 발견했다. 반면 인간 교사들은 더 다양한 방법을 사용했고, 물러나 학생이 독립적으로 작업하도록 두는 경향이 더 강했다.
비교의 한계와 그 의미
TutorMoments의 결과를 인간 교사가 인공지능보다 효율성이 낮다는 증거로 읽어서는 안 된다. 데이터에 포함된 인간 교사들은 동일한 방식으로 평가했을 때 적절한 비계 제공에서 0.458점, 적절한 엄밀성에서 0.182점, 과도한 비계 제공 회피에서 0.496점을 받았다. 이 점수는 평가를 인식한 지침을 사용한 모델의 점수보다 낮았고, 일반 지침을 사용했을 때의 모델 점수 범위와 비슷했다.
그러나 이 데이터 세트는 원래 교사들이 가르침이 더 나을 수 있었다고 본 순간을 중심으로 설계되었기 때문에, 이상적인 가르침이 아니라 놓친 기회에 초점을 맞춘다. 또한 재현 세션의 학생은 언어 모델이 시뮬레이션하므로, 점수는 결정 지점에서 모델이 보인 행동을 측정할 뿐 실제 학생이 실제로 학습했는지는 측정하지 않는다.
데이터는 지리적·교육적으로도 제한적이다. 미국 내 초등 및 중등 단계의 수학에 초점을 맞추고 있으며, 한 집단의 교육자에 의존했다. 또한 출처는 학생을 엄밀성으로 이끄는 행동의 탐지가 비계 제공의 탐지보다 신뢰성이 낮으며, 엄밀성 순간은 260개로 비계 제공 순간 738개에 비해 적었다고 지적한다.
현재 형태의 TutorMoments는 모델이 내리는 교육적 결정을 더 구체적으로 살펴보는 방법을 제시하지만, 실제 학생을 대상으로 학습 결과를 측정하는 연구를 대체하지는 않는다. 연구팀은 미리보기에 대한 의견을 수집한 뒤 더 크고 다중 양식인 데이터 세트, 더 강력한 평가 파이프라인, 더 심층적인 분석을 개발할 계획이다.