Allen Institute for AI (Ai2), büyük dil modellerinin eğitimdeki en zor kararlardan birini verme becerisini ölçmek için TutorMoments çerçevesini sunuyor: Öğrencinin problemi çözmeye başlayabilmesi için ek destek mi sağlamalı, yoksa geri çekilip onu düşünmenin daha büyük bir bölümünü kendi başına gerçekleştirmeye mi teşvik etmeli? Çerçeve, her zaman ipucu vermek ya da cevabı hiçbir zaman açıklamamak gibi tek bir davranışı ödüllendiren testlerle yetinmek yerine, gerçek bire bir matematik öğretimi oturumlarındaki anların yeniden oynatılmasına dayanıyor.
Projenin ön izlemesi, 7 Ağustos 2026 tarihinde Hugging Face blogunda yayımlanan bir topluluk makalesinde duyuruldu; makaleyi Ai2Comms adına Kyle Wiggers kaleme aldı. Duyuruda teknik bir rapor, Hugging Face’te erişime açık bir veri kümesi, yeniden değerlendirme hattını çalıştırma kodu ve değerlendirilen anlar için modellerin oluşturduğu oturum yeniden oynatmaları yer alıyor.
Her zaman yardımcı olan bir yanıt neden yeterli değil?
Proje, iyi öğretimin görevin en zor bölümünü öğrencinin yerine yapmak anlamına gelmediği yönündeki pedagojik gözlemden hareket ediyor. Öğretmen, öğrencinin ne anladığını teşhis etmeye yardımcı olacak bir soru sorabilir ya da doğru bir yanıtı açıklaması ve anladığını göstermesi için ona alan bırakabilir. Başka zamanlarda ise öğrencinin başlayabilmesi için problemin daha kolay hâle getirilmesine ihtiyaç duyulabilir.
Ancak dil modelleri yardımcı olacak şekilde eğitiliyor; bu da onları kavramı açıklamaya, adımları sıralamaya ve öğrenciyi hızla yanıta yönlendirmeye itebiliyor. Metne göre bu davranış, öğrenme araştırmalarının daha güçlü bir anlayışla ilişkilendirdiği, problemi çözmek için gereken ve zaman zaman zor ya da hayal kırıklığı yaratabilen çaba, yani sözde üretken mücadeleyi kısaltabilir. Bu nedenle TutorMoments geliştiricileri, doğru sorunun modelin genel olarak bir ipucu verip vermediği ya da yanıtı açıklamaktan kaçınıp kaçınmadığı değil, seçiminin o anda bu öğrencinin ihtiyaçlarına uygun olup olmadığı olduğunu düşünüyor.
TutorMoments nasıl çalışıyor?
TutorMoments-Preview ön izleme sürümü, Amerikalı ikinci ila yedinci sınıf öğrencileriyle gerçekleştirilen gerçek bire bir matematik öğretimi oturumlarından kimlik bilgileri çıkarılmış 462 metin tabanlı konuşmadan oluşuyor. Veri kümesinde öğretmenlerin yorum yaptığı 1.500’den fazla kritik an ve 27 Amerikalı öğretmenin sağladığı birkaç bin serbest metin yorumu bulunuyor.
Konuşmalar yoğun bir öğretim programından geldi ve öğrencilerin çoğu Title I kapsamında desteklenen okullara devam ediyordu. Veriler, ebeveynlerin ve vasilerin onay verdiği bir araştırma hükmü uyarınca erişime açıldı. Kimlik belirleyici ayrıntılar önce verileri sağlayan kuruluş tarafından, ardından matematik içeriğini dikkate alan ek bir işleme hattı aracılığıyla kaldırıldı.
Deneyimli öğretmenler metinleri okuyarak öğretmenin iskele kurma, yani problemi erişilebilir hâle getirme, ile titizliği teşvik etme, yani öğrenciyi daha zor düşünme gerçekleştirmeye teşvik etme, arasında denge kurması gereken anları belirledi. Sistem, konuşmayı bu noktalardan birinde durduruyor ve ardından beş turluk simüle edilmiş bir oturumda öğretmenin rolünü bir dil modeline, öğrencinin rolünü ise başka bir dil modeline veriyor.
Ardından dil modeli tabanlı bir puanlama hattı üç yönü değerlendiriyor: Model, öğrencinin ihtiyaç duyduğu anda iskele kurdu mu; öğrenci hazır olduğunda onu daha fazla titizliğe yöneltti mi; ve o anın gerektirdiğinden daha fazla destek vererek zorluk düzeyini düşüren aşırı iskele kurmaktan kaçındı mı? Değerlendirme süreci öğretmenlerin oluşturduğu referans kararıyla başlıyor. Öğretmenler anlaşamadığında çoğunluk etiketi kullanıldı; üç kişiden ikisi anın titizlik gerektirdiğini düşündüyse bu karar referans sonuç olarak kabul edildi.
İlk sonuçlar ne gösterdi?
Ekip, iki tür talimat kullanarak yedi dil modelini test etti. İlk tür, modelden gerekli dengeyi fiilen açıklamadan iyi öğretim yapmasını istiyor; ikinci tür ise iskele kurma, aşırı iskele kurma ve öğrenciyi titizliğe yönlendirme arasındaki farkı açıkça belirtiyor. Anlar, iskele kurmanın doğru seçenek olduğu durumlarla daha fazla düşünmeye yönlendirmenin gerektiği durumlar arasında eşit olarak bölündü.
Sonuçlar, tüm modellerin ödünleşimi açıklayan talimatlar kullanıldığında daha iyi performans gösterdiğini ortaya koydu. Bu, varsayılan “yardımcı asistan” davranışının tek başına iyi öğretim sağlamak için yeterli olmadığını gösteriyor. Bununla birlikte talimatlarda ödünleşimin ifade edilmesi sorunu tamamen çözmedi; modeller, uygun kararı ne kadar güvenilir biçimde verdikleri konusunda hâlâ büyük ölçüde farklılık gösterdi ve en iyi modellerin bile geliştirmeye açık olduğu görüldü.
Ekip ayrıca, öğrenciyi titizliğe yönlendirmeleri istendiğinde modellerin öğretmenlere kıyasla daha az çeşitli stratejiler kullandığını ve çoğunlukla öğrenciden yanıtını açıklamasını istediğini tespit etti. Buna karşılık insan öğretmenler daha çeşitli yöntemler kullandı ve geri çekilip öğrencinin bağımsız çalışmasına izin vermeye daha yatkındı.
Karşılaştırmanın sınırları ve anlamı
TutorMoments sonuçları, insan öğretmenlerin yapay zekâdan daha az yetkin olduğuna dair kanıt olarak okunmamalı. Verilerdeki insan öğretmenler aynı yöntemle değerlendirildiğinde uygun iskele kurmada 0,458, uygun titizlikte 0,182 ve aşırı iskele kurmaktan kaçınmada 0,496 puan aldı. Bu puanlar, değerlendirme bilincine sahip talimatlar kullanıldığında modellerin puanlarından daha düşüktü ve normal talimatlarla elde ettikleri puan aralığına yakındı.
Ancak grup, öğretmenlerin öğretimin daha iyi olabileceğini düşündüğü anlar etrafında tasarlandı; bu nedenle ideal öğretimden ziyade kaçırılmış fırsatlara odaklanıyor. Ayrıca yeniden oynatmalardaki öğrenciler, bir dil modeli tarafından simüle ediliyor. Bu da puanların gerçek bir öğrencinin gerçekten öğrenip öğrenmediğini değil, modelin bir karar noktasındaki davranışını ölçtüğü anlamına geliyor.
Veriler coğrafi ve eğitimsel açıdan da sınırlı; Amerika Birleşik Devletleri’nde ilkokul ve ortaokul düzeylerindeki matematiğe odaklanıyor ve tek bir eğitimci grubuna dayanıyor. Kaynak ayrıca, öğrenciyi titizliğe yönlendirmeyi tespit etmenin iskele kurmayı tespit etmekten daha az güvenilir olduğunu ve titizlik anlarının sayısının, iskele kurma anlarının 738 olmasına kıyasla 260 olduğunu belirtiyor.
TutorMoments mevcut hâliyle, modellerin aldığı pedagojik kararları daha belirli bir biçimde incelemek için bir yöntem sunuyor; ancak gerçek öğrencileri kullanan ve öğrenme sonuçlarını ölçen çalışmaların yerini almıyor. Ekip, daha büyük ve çok modlu bir veri kümesi, daha güçlü bir değerlendirme hattı ve daha derin bir analiz geliştirmeden önce ön izleme hakkında geri bildirim toplamayı planlıyor.