TutorMoments: Знаят ли AI преподавателите кога да помагат и кога да се въздържат?

Кайл Уигърс

Ai2Comms

allenai

Днес представяме предварителна версия на TutorMoments — рамка за измерване на това дали най-съвременните големи езикови модели могат да балансират един от най-трудните компромиси в образованието: кога да се намесят и да помогнат на ученика и кога да се отдръпнат и да оставят ученика да свърши повече от работата.

TutorMoments е оценяване чрез възпроизвеждане, изградено върху реални индивидуални сесии по математика. Опитни учители по математика преглеждат стенограми, събрани от американска програма за обучение, и отбелязват моментите, в които преподавателят е трябвало да избира между това да улесни започването на задачата и това да насърчи ученика сам да извърши повече от разсъжденията. След това TutorMoments използва стенограмата до момента на вземане на решението, подава я на езиков модел и му позволява да поеме ролята на преподавател в симулирана сесия — като друг езиков модел играе ролята на ученика — за да види какво прави моделът-преподавател.

Когато им се каже само да „преподават добре“, установяваме, че моделите са склонни да помагат прекомерно, като предоставят твърде много подкрепа и рядко насърчават учениците към по-задълбочено мислене. Ясното формулиране на компромиса (кога да помагат и кога да се отдръпват) в подканата към преподавателя подобрява представянето, но не заличава разликата с човешкото преподаване, което последователно съответства на конкретния момент, а езиковите модели все още се различават значително по това колко надеждно вземат това решение.

Като част от ангажимента ни към отворените изследвания публикуваме набор от обезличени стенограми на учебни сесии, кода за изпълнение на нашия конвейер за възпроизвеждане и възпроизвежданията на ключовите моменти от моделите-преподаватели, които оценихме в тези стенограми, за да осигурим възпроизводимост. Надяваме се TutorMoments да даде на преподавателите, изследователите и екипите, създаващи AI преподаватели, по-прецизен начин да задават въпроса как даден модел се справя с педагогическите решения, които са най-важни — и да помогне на областта да създава преподаватели, които се адаптират към всеки ученик, вместо да вършат работата вместо него.

Какво прави един добър преподавател?

Ако помолите добър преподавател по математика за помощ, вероятно ще получите въпрос в отговор като: „Какво знаете за това какво се пита в задачата?“ Това не е липса на желание за помощ — част от доброто преподаване е да се установи какво учениците знаят и да им се предостави подходящата подкрепа в конкретния момент. Незабавното предлагане на помощ би лишило ученика от интелектуалната работа, която му помага да учи. Понякога е необходима подкрепа; в други случаи най-ефективно е да се насърчи затвърждаването на разбирането чрез обяснение на верен отговор.

Езиковите модели обаче са обучени да бъдат полезни, а полезният асистент обикновено върши трудната част вместо вас — обяснява концепцията, подрежда стъпките и ви насочва към отговора. В учебна сесия това може да прекъсне продуктивното затруднение — усилието и понякога разочароващото решаване на задачи, което изследванията в областта на обучението отдавна свързват с по-доброто разбиране.

Повечето бенчмаркове за езикови модели, действащи като преподаватели, не улавят това напрежение. Те обикновено възнаграждават конкретно едно поведение — например никога да не се разкрива отговорът на задачата или винаги да се предлага подсказка — без да отчитат дали това е било правилният ход предвид действителното ниво на разбиране на ученика. Но доброто преподаване не е едно-единствено фиксирано поведение, което може да се разпознае във всички случаи. То е въпрос на преценка: от какво се нуждае този ученик точно сега, за тази задача?

Как работи TutorMoments

TutorMoments е изграден върху реални данни от учебни сесии. Наборът от данни, който публикуваме, TutorMoments-Preview, съдържа 462 обезличени стенограми само в текстов формат от реални индивидуални сесии по математика с ученици от 2. до 7. клас в САЩ, с над 1500 ключови момента, анотирани от учители, и няколко хиляди анотации със свободен текст от 27 базирани в САЩ учители-анотатори. Стенограмите идват от програма за интензивно обучение, чиито ученици посещават предимно училища по програма Title I, и са споделени съгласно изследователска клауза, одобрена от родителите и настойниците; всички данни са почистени от идентифициращи подробности — първо от доставчика, а след това чрез допълнителен конвейер, съобразен с математиката.

Всички анотации са направени от опитни учители по математика, които помолихме да прочетат стенограмите и да отбележат ключови моменти на учене — като посочат какво се случва, какво прави преподавателят и как това се отразява на ученика. Всеки ключов момент е точка на решение, в която преподавателят трябва да прецени компромиса между подпомагането (правенето на задачата по-достъпна) и насърчаването на задълбоченото мислене (стимулирането на ученика да извърши по-трудна мисловна работа).

TutorMoments работи, като спира стенограмата в един от тези ключови моменти и предава сесията на езиков модел, който поема ролята на преподавател за пет хода със симулиран ученик. Наричаме всяко от тези генерирани от модела продължения възпроизвеждане. След това конвейер за оценяване, базиран на езиков модел, оценява всяко възпроизвеждане по три показателя: дали моделът (1) е предоставил подкрепа, когато ученикът се е нуждаел от нея, (2) е насърчил задълбоченото мислене, когато ученикът е бил готов за по-голямо предизвикателство, и (3) е избегнал прекомерното подпомагане (намаляване на предизвикателството повече, отколкото конкретният момент е изисквал).

Конвейерът за оценяване започва от установена от учители референтна истина: за всеки ключов момент — дали той изисква подпомагане или насърчаване на задълбоченото мислене. Всеки момент е анотиран от няколко учители, а когато те не са били съгласни, сме използвали преобладаващия етикет — ако трима учители са анотирали момент и двама са го определили като изискващ задълбочено мислене, а един като изискващ подпомагане, референтната истина е „задълбочено мислене“. След това отделен класификатор на езиков модел, валидиран спрямо анотациите на учителите, решава дали реалният ход на преподавателя съответства на изискваното от момента — „подходящ“ ход означава, че класифицираното действие на преподавателя (подпомагане, насърчаване на задълбоченото мислене или прекомерно подпомагане) съответства на преценката на учителите за конкретния момент.

Предварителни резултати

Пуснахме седем големи езикови модела през TutorMoments, използвайки две подканяния: обикновена подкана, която не дава реални насоки — тя само казва на модела да използва знанията си за доброто преподаване, за да отговори на ученика — и подкана, съобразена с оценяването, която ясно формулира компромиса между подпомагането, прекомерното подпомагане и насърчаването на задълбоченото мислене. Всеки модел беше оценен по ключови моменти, извлечени от стенограмите на учебните сесии, разделени поравно между моменти, в които подпомагането е било правилният подход, и моменти, изискващи задълбочено мислене.

Всяко число в таблицата е оценка между 0 и 1 — делът на съответните моменти, в които моделът е направил подходящото нещо — така че по-високата оценка означава, че моделът е взел правилното решение по-често. Например 0,50 за подходящо насърчаване на задълбоченото мислене означава, че моделът е насърчил задълбоченото мислене в половината от моментите, които са го изисквали.

Няколко неща, които трябва да имате предвид при разглеждането на оценките:

Човешките преподаватели са естествена отправна точка, а не горна граница. Не приемаме човешките преподаватели за модел на идеалната практика — дори опитните преподаватели вземат неоптимални решения в конкретния момент. Оценени по същия начин в същите точки на решение, човешките преподаватели в нашите стенограми получават 0,458 (подходящо подпомагане), 0,182 (подходящо насърчаване на задълбоченото мислене) и 0,496 (избягване на прекомерното подпомагане) — всички стойности са под оценките на моделите при подканата, съобразена с оценяването, и са приблизително в диапазона на оценките им при обикновената подкана. Но това не означава, че AI преподавателите превъзхождат човешките учители. Анотаторите конкретно са търсили моменти, в които обучението е можело да протече по-добре, така че наборът от данни се концентрира върху пропуснатите възможности, а не върху идеалната практика.

Оценките измерват поведението на преподавателя, а не ученето. Възпроизвежданията използват симулиран ученик „оракул“, така че числата отразяват как действа моделът в дадена точка на решение — а не дали реален ученик е научил нещо.

Оценяването на задълбоченото мислене е по-неточно от това на подпомагането. Конвейерът за оценяване открива по-ненадеждно опитите за насърчаване на задълбоченото мислене, а в основните анотации има по-малко моменти на задълбочено мислене (260), отколкото моменти на подпомагане (738).

Най-ясният модел в таблицата е колко важно е подканянето: всеки модел получава по-висока оценка при подканата, съобразена с оценяването, отколкото при обикновената подкана. Това подсказва, че стандартното поведение на „полезен асистент“ само по себе си не е достатъчно за добро преподаване. Но ясното изписване на компромиса в подканата има ограничен ефект — макар да повишава всяка оценка, моделите все още се различават значително по това как интерпретират подобрената подкана, а дори най-добре представящите се имат много възможности за подобрение.

Разглеждаме и действията, които преподавателите предприемат при всеки сценарий. Макар че подканянето насърчава моделите да стимулират задълбоченото мислене, те използват по-малко стратегии от хората и често разчитат на това да молят учениците да обяснят отговорите си. За разлика от тях човешките преподаватели използват по-разнообразни стратегии и са много по-склонни да се отдръпнат и да оставят учениците да работят самостоятелно.

Ограничения и следващи стъпки

TutorMoments все още е в ранен етап на разработка и на този етап има няколко ограничения. Най-същественото е, че автоматизираното оценяване ни дава информация за това как се държи моделът в дадена точка на решение, но не може да замени изследванията с реални ученици и реални резултати от обучението. Наборът от данни също е ограничен: базиран е в САЩ, обхваща предимно математика за началния и прогимназиалния етап и е анотиран от една група преподаватели. Нашите констатации може да не се обобщават към други предмети, образователни нива или условия.

Споделяме тази предварителна версия, за да съберем обратна връзка, докато работим за създаването на по-голям мултимодален набор от данни, по-надежден конвейер за оценяване и по-задълбочен анализ.

Благодарности

Този проект беше реализиран отчасти благодарение на подкрепата на фондация „Гейтс“ и Learning Commons.

Набори от данни, споменати в тази статия 1