Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

TutorMoments проверяет, умеют ли ИИ-репетиторы не мешать

TutorMoments — это система для оценки того, способны ли языковые модели выбирать между помощью ученику и предложением самостоятельно выполнить большую часть рассуждений. Она основана на 462 обезличенных текстовых расшифровках индивидуальных занятий по математике в США с учениками 2–7 классов. Опытные учителя отметили более 1500 ключевых эпизодов и указали, требовал ли каждый из них упрощения задачи или, напротив, большей самостоятельности и строгости.

В каждом эпизоде модель на пять реплик становится репетитором, а другой языковой модели поручается изображать ученика. Система оценивает, оказана ли поддержка, когда она необходима, предложено ли ученику более сложное рассуждение в подходящий момент и не было ли задание чрезмерно упрощено. В предварительной проверке семи LLM специальная инструкция с описанием этого выбора повысила показатели всех моделей по сравнению с просьбой просто «хорошо обучать». При этом модели заметно различались и не всегда правильно определяли потребность ученика.

Авторы подчеркивают, что метрики отражают действия модели в симуляции, а не результаты обучения реальных детей. Набор данных в основном охватывает математику для младших и средних классов в США. Для воспроизводимости опубликованы обезличенные расшифровки, код конвейера и продолжения сессий, созданные моделями.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости