LitPivot: Розроблення дослідницьких ідей завдяки динамічній контекстуалізації в ландшафті наукової літератури
📄 Стаття
Зустріч із новою статтею може змінити траєкторію дослідницької ідеї. Дослідник може виявити, що хтось уже зробив запропонований ним внесок, або знайти в статті невирішену проблему, яка надихне на новий напрям дослідження.
Ми називаємо цей процес поворотом, ініційованим літературою: зміною напряму дослідження, спровокованою читанням попередніх робіт. Він поєднує дві діяльності, якими дослідникам часто доводиться займатися окремо: розробку ідеї та визначення літератури, з якою її слід порівнювати.
Разом із колегами з Пенсильванського університету ми розробили LitPivot — систему, яка допомагає дослідникам орієнтуватися в таких поворотах. Використовуючи статті, знайдені за допомогою Asta Paper Finder, LitPivot організовує літературу навколо частини пропозиції, яку редагують, пропонує критичні зауваження, підкріплені уривками з вибраних досліджень, і пропонує зміни, які дослідники можуть прийняти, відредагувати або відхилити. LitPivot призначений для використання на ранніх етапах формування дослідницьких ідей, але цю концепцію, можливо, можна поширити й на триваліші письмові завдання (тобто написання вступу до статті).
У дослідженні за участю 17 дослідників експерти предметної галузі оцінили дослідницькі ідеї, розроблені за допомогою LitPivot, як краще обґрунтовані в літературі, ніж ідеї, розроблені за допомогою текстового редактора та інструмента ШІ для чатів. Учасники також сприймали свої переглянуті дослідницькі ідеї як більш нові й корисні та повідомляли про краще розуміння відповідної літератури.
LitPivot буде представлено на UIST 2026 у Детройті. Прочитайте статтю тут.
Чому важко здійснювати повороти
Дослідницькі ідеї розвиваються завдяки взаємодії з літературою. Аналізуючи нотатки із зустрічей щодо чотирьох завершених дослідницьких проєктів у галузі комп’ютерних наук, ми виявили 21 поворот, ініційований літературою, у всіх чотирьох проєктах. Вони поділялися на два типи: відмежування ідеї від наявних робіт для встановлення її новизни та узгодження ідеї з наявними роботами для розвитку на їхній основі. Цей проєкт також пройшов через два повороти, перш ніж ми визначилися з його внесками.
Орієнтуватися в таких змінах може бути складно. У формувальному дослідженні п’ятеро дослідників розробляли пропозиції за допомогою текстового редактора та стандартних інструментів пошуку. Їм було важко розвивати свої ідеї, одночасно критично оцінюючи їх у контексті літератури. Коли стаття ставила під сумнів новизну ідеї, вони хотіли отримати конкретні пропозиції щодо її перегляду, підкріплені попередніми роботами. Ці результати сформували оцінювання LitPivot, яке поєднує критичні зауваження, підкріплені літературою, із конкретними пропозиціями щодо перегляду вибраної частини ідеї.
Як працює LitPivot
У LitPivot дослідник починає з написання короткої пропозиції в редакторі та вмикає функцію, яку ми називаємо підсвічуванням аспектів. Вона розподіляє сформульовану ідею на різні аспекти (тобто проблему, внесок та оцінювання). Щоб перевірити запропонований аспект, дослідник натискає на цей фрагмент у чернетці. Суміжна панель групує пов’язані статті на основі вибраного аспекту (наприклад, коли вибрано аспект оцінювання, групує статті за використаними в них методами оцінювання) і підсвічує найрелевантніші групи. Дослідник вибирає статті, запитує оцінювання та переглядає запропоновану редакцію разом з уривками, що підтверджують критичне зауваження. Після цього література повторно ранжується на основі релевантності до переглянутого аспекту.
Зокрема, LitPivot розділяє дослідницьку ідею на її проблему, запропонований внесок і план оцінювання. Кожен аспект має власний набір пов’язаної літератури та рейтинг її релевантності. LitPivot групує знайдені статті навколо аспекту, який редагується, даючи досліднику змогу вибрати, які з них система має використати для оцінювання чернетки.
Поряд із середовищами для наукового письма, такими як Prism, і агентними помічниками, такими як Claude Code, LitPivot досліджує новий робочий процес розробки ранньої дослідницької ідеї: вибір літератури для її оцінювання, використання цих доказів для її перегляду та повторне визначення того, які статті мають значення в міру зміни ідеї. Групи статей і пов’язані критичні зауваження роблять ці кроки явними для кожної частини пропозиції, водночас дослідники контролюють і чернетку, і докази, використані для її оцінювання.
Для формулювання проблеми LitPivot шукає докази того, що проблема існує, і причини її важливості. Щоб оцінити запропонований внесок, система порівнює те, що вже розглянули вибрані статті, з описаними в них обмеженнями та напрямами подальших досліджень, шукаючи невирішені прогалини. Для плану оцінювання вона перевіряє, чи стосуються запропоновані тести дослідницького питання та як оцінювалися подібні роботи. Потім система пропонує переписаний варіант із доданими підтверджувальними цитатами.
Зміна одного аспекту ідеї може зробити інший застарілим. LitPivot позначає уривки, які можуть потребувати перегляду, наприклад план оцінювання, що більше не забезпечує належного оцінювання переглянутого внеску. Дослідники можуть приймати, редагувати або відхиляти пропозиції, а також запитувати нові статті чи оновлювати рейтинг літератури в міру розвитку їхньої пропозиції.
Перефразований приклад одного з учасників дослідження.
Наші результати
У нашому лабораторному дослідженні 17 дослідників розробили по одній призначеній ідеї за допомогою LitPivot, а ще по одній — за допомогою базового інструмента: текстового редактора та інструмента ШІ для постановки запитань щодо вибраних статей. В обох умовах використовувалася одна й та сама колекція статей. Двоє експертів предметної галузі, які не знали, яку систему було використано, оцінювали отримані пропозиції за одним критерієм: наскільки добре вони використовували релевантну літературу для підтримки та обґрунтування ідеї. Пропозиції, розроблені за допомогою LitPivot, отримали вищі оцінки.
Учасники того самого дослідження також повідомили про краще розуміння відповідної літератури та про більше суб’єктивно оцінених покращень новизни й корисності своїх ідей під час використання LitPivot порівняно з базовим інструментом. Експерти предметної галузі також переглянули ідеї учасників і оцінили ідеї, переглянуті за допомогою LitPivot, як значно краще обґрунтовані в релевантній літературі.
Один учасник нашого лабораторного дослідження почав із пропозиції генерувати узгоджені, фактичні синтетичні медичні нотатки. LitPivot визначив узгодженість між кількома візитами до лікарні як потенційну прогалину у вибраній літературі. Учасник переглянув анотації та вилучив статті про нотатки щодо одного візиту. Після наступного оцінювання він звузив пропозицію до виявлення суперечностей між нотатками з кількох візитів. Цей приклад показує, як перегляд ідеї та вибір літератури, використаної для її оцінювання, можуть взаємно впливати одне на одного.
У подальшому дослідженні п’ятеро дослідників використовували LitPivot у власних поточних проєктах під час 30-хвилинних сесій. Учасники використовували LitPivot на різних етапах проєктів, а не лише на початку. Двоє застосовували його для перевірки нових ідей у контексті літератури, а троє — для уточнення формулювання більш зрілих ідей. Один дослідник зазначив, що бачення паралельних концепцій із різних галузей допомогло йому переосмислити свій внесок.
Ці дослідження свідчать, що LitPivot може підтримувати як раннє дослідження, так і вдосконалення вже наявного напряму досліджень.
Підтримка наукових відкриттів
В Ai2 ми розробляємо ШІ, щоб допомогти дослідникам формулювати ідеї, які можна перевірити, та досліджувати докази, що лежать в їхній основі. Asta підтримує ці зусилля через генерування теорій на основі опублікованих результатів (Theorizer), синтез і генерування та перевірку гіпотез на даних (AutoDiscovery), тоді як HARPA генерує перспективні гіпотези на основі нових тенденцій у дослідженнях. Scideator дає дослідникам змогу комбінувати елементи попередніх робіт у нові ідеї та оцінювати їхню новизну, а IdeaSynth підтримує ітеративне вдосконалення за допомогою зворотного зв’язку, обґрунтованого літературою.
Наше нещодавнє дослідження Old Ideas, Novel Problems розглядає обмеження автоматизованого оцінювання новизни, показуючи, як невеликі зміни в запиті можуть змінити вердикт судді-ШІ щодо тих самих ідей. LitPivot розвиває цей напрям роботи, роблячи вибір релевантної літератури частиною процесу перегляду. Дослідники можуть змінювати статті, які використовують для оцінювання пропозиції, у міру розвитку своєї ідеї, а потім використовувати критичні зауваження та підтверджувальні уривки, щоб вирішити, як її переглянути. Система пов’язує ці рішення між проблемою, внеском і планом оцінювання пропозиції.
Ми сподіваємося, що результати LitPivot допоможуть науковцям розвивати наявні знання та перетворювати ранні ідеї на нові внески у свої галузі.
Спільнота
· Зареєструйтеся або увійдіть, щоб залишити коментар
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.