TutorMoments проверява кога AI учителите да помагат
TutorMoments е рамка за оценяване на това дали езиковите модели избират правилно между подкрепа за ученика и насърчаване да извърши повече от разсъждението сам. Тя използва 462 деидентифицирани текстови стенограми от индивидуални уроци по математика в САЩ за ученици от 2. до 7. клас. Опитни учители са отбелязали над 1500 ключови момента и са посочили дали в тях е била нужна помощ за улесняване на задачата или по-голяма строгост.
При всеки такъв момент моделът поема ролята на учител за пет хода, а друг езиков модел симулира ученика. Оценяването проверява дали се предоставя необходимата подкрепа, дали ученикът е насърчен да мисли по-задълбочено, когато е готов, и дали задачата не е направена излишно лесна. В предварителни тестове със седем LLM модела всеки показва по-добри резултати при инструкция, която изрично описва този баланс, отколкото при общата команда да „преподава добре“. Разликите между моделите обаче остават значителни.
Разработчиците уточняват, че резултатите измерват поведение в симулирани сесии, а не реално учене. Предварителната версия е ограничена основно до математика за началния и прогимназиалния етап в САЩ. Публикувани са деидентифицирани стенограми, кодът за възпроизвеждане и генерираните продължения.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.