LitPivot: Разработване на изследователски идеи чрез динамично контекстуализиране в пейзажа на научната литература
📄 Статия
Срещата с нова научна статия може да промени траекторията на дадена изследователска идея. Изследователят може да открие, че някой вече е разгледал предложеното от него приношение, или да намери нерешен проблем в статията, който да го вдъхнови за нова посока на изследване.
Наричаме този процес корекция, инициирана от литературата: промяна в изследователската посока, предизвикана от прочита на предишни научни трудове. Той свързва две дейности, които изследователите често трябва да управляват поотделно: разработването на идея и решението спрямо коя литература да я оценят.
Заедно с наши сътрудници от Университета на Пенсилвания разработихме LitPivot — система, която помага на изследователите да се ориентират в тези корекции. Използвайки статии, намерени чрез Asta Paper Finder, LitPivot организира литературата около частта от предложението, която се редактира, предлага критики, подкрепени с откъси от избрани изследвания, и предлага редакции, които изследователите могат да приемат, редактират или отхвърлят. LitPivot е предназначен за използване в ранните етапи на генериране на изследователски идеи, но идеята би могла да се разшири и към по-дълги писмени задачи (например писането на уводната част на статия).
В проучване с 17 изследователи експерти в съответните области оцениха изследователските идеи, разработени с LitPivot, като по-добре обосновани в литературата от идеите, разработени с текстов редактор и инструмент за разговор с ИИ. Участниците също така възприеха преработените си изследователски идеи като по-новаторски и полезни и съобщиха за по-добро разбиране на свързаната литература.
LitPivot ще бъде представен на UIST 2026 в Детройт. Прочетете статията тук.
Защо корекциите са трудни
Изследователските идеи се развиват чрез взаимодействие с литературата. В нашия анализ на бележки от срещи по четири завършени изследователски проекта в областта на компютърните науки идентифицирахме 21 корекции, инициирани от литературата, във всичките четири проекта. Те се разделиха на два типа: разграничаване на идея от съществуващата работа, за да се установи нейната новаторска стойност, и съгласуване на идея със съществуващата работа, за да се надгради върху нея. Самият този проект премина през две корекции, преди да се спрем на неговите приноси.
Тези промени могат да бъдат трудни за управление. В предварително проучване петима изследователи разработиха предложения с помощта на текстов редактор и стандартни инструменти за търсене. Те изпитваха затруднения да развиват идеите си, докато ги оценяват критично спрямо литературата. Когато дадена статия поставяше под въпрос новаторската стойност на идея, те искаха конкретни предложения как да я преработят, подкрепени от предишни научни трудове. Тези констатации оформиха оценките на LitPivot, които съчетават подкрепени от литературата критики с конкретни предложения за преработване на избраната част от идеята.
Как работи LitPivot
В LitPivot изследователят започва, като написва кратко предложение в редактор и активира функцията, която наричаме осветяване на аспектите, сегментираща формулираната идея на различни аспекти (т.е. проблем, принос и оценка). За да провери даден аспект, изследователят щраква върху този сегмент в черновата. Съседен панел групира свързаните статии въз основа на избрания аспект (например групиране на статиите според използваните от тях методи за оценка, когато е избран аспектът „оценка“) и откроява най-релевантните групи. Изследователят избира статии, заявява оценка и преглежда предложена редакция заедно с откъси, подкрепящи критиката. След това литературата се преранжира въз основа на релевантността ѝ към преработения аспект.
По-конкретно, LitPivot разделя изследователската идея на нейния проблем, предложен принос и план за оценка. Всеки аспект има собствен набор и класиране по релевантност на свързаната литература. LitPivot групира намерените статии около аспекта, който се редактира, като позволява на изследователя да избере кои от тях системата да използва за оценка на черновата.
Наред със среди за научно писане като Prism и агентни асистенти като Claude Code, LitPivot изследва нов работен процес за разработване на ранна изследователска идея: избор на литература, спрямо която тя да бъде оценена, използване на тези доказателства за преработването ѝ и преосмисляне кои статии са важни, докато идеята се променя. Групите от статии и свързаните критики правят тези стъпки явни за всяка част от предложението, като същевременно изследователите контролират както черновата, така и доказателствата, използвани за оценяването ѝ.
За формулировка на проблема LitPivot търси доказателства, че проблемът съществува, и основания защо той е важен. За да оцени предложен принос, системата сравнява това, което избраните статии вече са разгледали, с описаните от тях ограничения и бъдеща работа, търсейки оставащи пропуски. За план за оценка тя проверява дали предложените тестове разглеждат изследователския въпрос и как са били оценявани сходни разработки. След това системата предлага пренаписване с прикрепени подкрепящи цитати.
Промяната на един аспект от идея може да направи друг аспект остарял. LitPivot маркира пасажи, които може да се нуждаят от преработване, като например план за оценка, който вече не оценява адекватно преработения принос. Изследователите могат да приемат, редактират или отхвърлят предложенията и да заявят нови статии или да обновят класирането на литературата, докато развиват предложението си.
Преразказан пример от един от участниците в проучването.
Нашите констатации
В нашето лабораторно проучване 17 изследователи разработиха по една възложена им идея с LitPivot и друга с базов инструмент — текстов редактор и инструмент с ИИ за задаване на въпроси относно избрани статии. И при двете условия беше използвана една и съща колекция от статии. Двама експерти в съответните области, които не знаеха коя система е използвана, оцениха получените предложения по един-единствен критерий: доколко добре използват релевантната литература, за да подкрепят и обосноват идеята. Предложенията, разработени с LitPivot, получиха по-високи оценки.
Участниците в същото проучване също съобщиха за по-добро разбиране на свързаната литература и за по-голямо самооценено подобрение в новаторската стойност и полезността на идеите си при използването на LitPivot в сравнение с базовия инструмент. Експертите в съответните области също прегледаха идеите на участниците и оцениха идеите, преработени с LitPivot, като значително по-добре обосновани в релевантната литература.
Един участник в лабораторното ни проучване започна с предложение за генериране на последователни, фактологично точни синтетични медицински бележки. LitPivot идентифицира последователността между множество болнични посещения като потенциален пропуск в избраната литература. Участникът прегледа резюметата и премахна статиите за бележки от еднократни посещения. След нова оценка той стесни предложението до откриване на противоречия между бележки от множество посещения. Примерът показва как преработването на идея и изборът на литературата, използвана за оценяването ѝ, могат да се информират взаимно.
В последващо проучване петима изследователи използваха LitPivot върху собствените си текущи проекти в рамките на 30-минутни сесии. Участниците използваха LitPivot на различни етапи от проектите, а не само в началото. Двама го използваха, за да проверят нови идеи спрямо литературата, а трима — за да прецизират формулировката на по-зрели идеи. Един изследовател подчерта как наблюдението на паралелни концепции от различни области му е помогнало да преосмисли своя принос.
Тези проучвания показват, че LitPivot може да подпомага както ранното проучване, така и усъвършенстването на съществуваща изследователска посока.
Подкрепа на научните открития
В Ai2 разработваме ИИ, който да помага на изследователите да формулират проверими идеи и да изследват доказателствата зад тях. Asta подкрепя тези усилия чрез генериране на теории от публикувани резултати (Theorizer), синтез и генериране и проверка на хипотези върху данни (AutoDiscovery), докато HARPA генерира обещаващи хипотези, информирани от нововъзникващи тенденции в изследванията. Scideator позволява на изследователите да комбинират отново елементи от предишни разработки в нови идеи и да оценяват тяхната новаторска стойност, а IdeaSynth подпомага итеративното усъвършенстване с обратна връзка, обоснована в литературата.
Нашето скорошно проучване, Стари идеи, новаторски проблеми, изследва ограниченията на автоматизираната оценка на новаторската стойност, показвайки как малки промени в подканата могат да променят заключението на оценяващия ИИ за едни и същи идеи. LitPivot развива тази линия на работа, като превръща избора на релевантна литература в част от процеса на преработване. Изследователите могат да променят кои статии използват за оценка на предложението, докато идеята им се развива, а след това да използват критики и подкрепящи откъси, за да решат как да я преработят. Системата свързва тези решения в рамките на проблема, приноса и плана за оценка на предложението.
Надяваме се, че изводите от LitPivot ще помогнат на учените да надграждат съществуващото знание и да превръщат ранните идеи в нови приноси към своите области.
Общност
· Регистрирайте се или влезте в профила си, за да коментирате
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.