ИИ-модели выбирают эксперименты до затратного обучения
Исследователи Meta FAIR, Оксфордского университета и University College London представили AI Research Preference Models (RPMs) — модели, которые выбирают, какие эксперименты по машинному обучению должен выполнить исследовательский ИИ-агент. Система ранжирует еще не запущенные варианты, а не пытается предсказать их итоговые оценки: по данным команды, языковые модели ненадежны при прогнозировании метрик и результатов выполнения.
RPM формирует 15 кандидатов в процессе поиска AIRA-dojo и сравнивает их в турнире на выбывание, после чего запускается только победитель. Вариант inference-only оценивает планы, код и историю поиска. Агентный вариант проводит небольшие пилотные эксперименты в песочнице с одним H200. Оба варианта используют замороженные предварительно обученные языковые модели без дообучения, а Qwen3.6-27B служит основой для операторов поиска и селектора.
На 20 текстовых и табличных задачах AIRS-Bench средняя нормализованная оценка выросла с 0.684 при случайном выборе до 0.711 для inference-only RPM и 0.729 для агентной версии. Обе достигли результата базового метода за 24 часа примерно за 15 часов; заявленное ускорение составило 1.5–1.6 раза. Кроме того, команда сообщила о результатах 94.1% на WinoGrande и 95.7% на SVAMP.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.