LitPivot: Разработка исследовательских идей посредством динамической контекстуализации в ландшафте научной литературы
📄 Статья
Знакомство с новой статьёй может изменить траекторию исследовательской идеи. Исследователь может обнаружить, что кто-то уже рассмотрел предлагаемое им нововведение, или найти в статье нерешённую проблему, которая вдохновит новое направление исследования.
Мы называем этот процесс поворотом, инициированным литературой: изменением направления исследования, вызванным изучением предыдущих работ. Он объединяет два вида деятельности, которыми исследователям часто приходится заниматься раздельно: развитие идеи и определение того, с какой литературой её следует сопоставлять.
Вместе с коллегами из Пенсильванского университета мы разработали LitPivot — систему, помогающую исследователям ориентироваться в таких поворотах. Используя статьи, найденные с помощью Asta Paper Finder, LitPivot организует литературу вокруг редактируемой части предложения, предлагает критические замечания, подтверждённые выдержками из выбранных исследований, и предлагает варианты правок, которые исследователь может принять, изменить или отклонить. LitPivot предназначен для использования на ранних этапах разработки исследовательской идеи, однако этот подход, возможно, можно распространить и на более объёмные письменные задачи (например, написание введения к статье).
В исследовании с участием 17 исследователей эксперты в соответствующих областях оценили исследовательские идеи, разработанные с помощью LitPivot, как лучше обоснованные литературой, чем идеи, разработанные с помощью текстового редактора и инструмента ИИ-диалога. Участники также считали свои переработанные исследовательские идеи более новыми и полезными и сообщали о более глубоком понимании окружающей литературы.
LitPivot будет представлен на конференции UIST 2026 в Детройте. Прочитайте статью здесь.
Почему повороты сложны
Исследовательские идеи развиваются благодаря взаимодействию с литературой. В ходе анализа заметок со встреч по четырём завершённым исследовательским проектам в области компьютерных наук мы выявили 21 поворот, инициированный литературой, во всех четырёх проектах. Они относились к двум типам: отделение идеи от существующих работ для установления её новизны и согласование идеи с существующими работами для развития на их основе. Сам этот проект претерпел два поворота, прежде чем мы определили его вклад.
Ориентироваться в таких изменениях может быть сложно. В формирующем исследовании пять исследователей разрабатывали предложения с помощью текстового редактора и стандартных инструментов поиска. Им было трудно развивать свои идеи и одновременно критически оценивать их в сопоставлении с литературой. Когда статья ставила под сомнение новизну идеи, они хотели получить конкретные предложения по её доработке, подкреплённые предыдущими работами. Эти результаты определили подход LitPivot к оцениванию: критические замечания, подтверждённые литературой, сопровождаются конкретными предложениями по переработке выбранной части идеи.
Как работает LitPivot
В LitPivot исследователь начинает с написания короткого предложения в редакторе и включает то, что мы называем подсветкой аспектов, которая разделяет сформулированную идею на разные аспекты (то есть проблему, вклад и оценивание). Чтобы проверить предлагаемый аспект, исследователь нажимает на этот фрагмент в черновике. Соседняя панель группирует связанные статьи на основе выбранного аспекта (например, группируя статьи по используемым методам оценивания, когда выбран аспект оценивания) и выделяет наиболее релевантные группы. Исследователь выбирает статьи, запрашивает оценку и просматривает предлагаемую правку вместе с выдержками, подтверждающими критическое замечание. Затем литература повторно ранжируется на основе релевантности переработанному аспекту.
В частности, LitPivot разделяет исследовательскую идею на её проблему, предлагаемый вклад и план оценивания. Для каждого аспекта формируется собственный набор связанной литературы и рейтинг её релевантности. LitPivot группирует найденные статьи вокруг редактируемого аспекта, позволяя исследователю выбрать, какие из них система должна использовать для оценки черновика.
Наряду со средами для научного письма, такими как Prism, и агентными помощниками, такими как Claude Code, LitPivot исследует новый рабочий процесс развития ранней исследовательской идеи: выбор литературы для её оценки, использование этих свидетельств для её доработки и пересмотр значимости отдельных статей по мере изменения идеи. Группы статей и связанные с ними критические замечания делают эти шаги явными для каждой части предложения, при этом исследователь контролирует и черновик, и свидетельства, используемые для его оценки.
Для формулировки проблемы LitPivot ищет свидетельства существования проблемы и обоснования её важности. Чтобы оценить предлагаемый вклад, система сопоставляет то, что уже рассмотрено в выбранных статьях, с описанными в них ограничениями и направлениями будущей работы, выявляя сохраняющиеся пробелы. Для плана оценивания она проверяет, отвечают ли предлагаемые тесты на исследовательский вопрос и как оценивались схожие работы. Затем система предлагает переписанный вариант с прикреплёнными подтверждающими цитатами.
Изменение одного аспекта идеи может сделать другой аспект устаревшим. LitPivot отмечает фрагменты, которые, возможно, требуют доработки, например план оценивания, который больше не позволяет адекватно оценить переработанный вклад. Исследователи могут принимать, изменять или отклонять предложения, а также запрашивать новые статьи или обновлять рейтинг литературы по мере развития предложения.
Перефразированный пример одного из участников исследования.
Наши выводы
В ходе лабораторного исследования каждый из 17 исследователей разработал одну предложенную идею с LitPivot, а другую — с помощью базового инструмента: текстового редактора и инструмента ИИ для задавания вопросов о выбранных статьях. В обоих случаях использовалась одна и та же коллекция статей. Два эксперта в соответствующих областях, не знавшие, какая система использовалась, оценили получившиеся предложения по одному критерию: насколько хорошо в них использовалась релевантная литература для поддержки и обоснования идеи. Предложения, разработанные с LitPivot, получили более высокие оценки.
Участники того же исследования также сообщили о более глубоком понимании окружающей литературы и о большем субъективно воспринимаемом улучшении новизны и полезности своих идей при работе с LitPivot по сравнению с базовым инструментом. Эксперты в соответствующих областях также изучили идеи участников и оценили идеи, переработанные с помощью LitPivot, как значительно лучше обоснованные релевантной литературой.
Один участник нашего лабораторного исследования начал с предложения о создании согласованных и фактически достоверных синтетических медицинских записей. LitPivot выявил согласованность между несколькими визитами в больницу как потенциальный пробел в выбранной литературе. Участник изучил аннотации и удалил статьи о записях для одного визита. После повторной оценки он сузил предложение до выявления противоречий между записями о нескольких визитах. Этот пример показывает, как доработка идеи и выбор литературы для её оценки могут влиять друг на друга.
В последующем исследовании пять исследователей использовали LitPivot в своих текущих проектах во время 30-минутных сессий. Участники применяли LitPivot на нескольких этапах проектов, а не только в начале. Двое использовали его для проверки новых идей по литературе, а трое — для уточнения формулировки более зрелых идей. Один исследователь отметил, что наблюдение за параллельными концепциями из разных областей помогло ему переосмыслить свой вклад.
Эти исследования показывают, что LitPivot может поддерживать как раннее исследование, так и доработку уже существующего направления исследований.
Поддержка научных открытий
В Ai2 мы разрабатываем ИИ, который помогает исследователям формулировать проверяемые идеи и изучать лежащие в их основе свидетельства. Asta поддерживает эту работу посредством генерации теорий на основе опубликованных результатов (Theorizer), синтеза, а также генерации и проверки гипотез на данных (AutoDiscovery), тогда как HARPA генерирует перспективные гипотезы с учётом новых исследовательских тенденций. Scideator позволяет исследователям комбинировать элементы предыдущих работ в новые идеи и оценивать их новизну, а IdeaSynth поддерживает итеративную доработку с обратной связью, основанной на литературе.
В нашем недавнем исследовании Старые идеи, новые проблемы рассматриваются ограничения автоматической оценки новизны и показывается, как небольшие изменения в запросе могут изменить вердикт ИИ-судьи по одним и тем же идеям. LitPivot развивает это направление, делая выбор релевантной литературы частью процесса доработки. Исследователи могут менять статьи, используемые для оценки предложения, по мере развития идеи, а затем использовать критические замечания и подтверждающие выдержки, чтобы решить, как её доработать. Система связывает эти решения в рамках проблемы, вклада и плана оценивания предложения.
Мы надеемся, что результаты работы над LitPivot помогут учёным опираться на существующие знания и превращать ранние идеи в новые вклады в свои области.
Сообщество
· Зарегистрируйтесь или войдите, чтобы оставить комментарий
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.