Google тестує AMIE для клінічних відеоконсультацій

Дослідницька медична система ШІ Google, AMIE (Відео), проводила синхронні відеоконсультації з професійними акторами, які грали пацієнтів, і отримала оцінки клінічних експертів, що за кількома ключовими показниками були на рівні лікарів первинної медичної допомоги.

П’ятнадцять підготовлених акторів зображували стани, пов’язані з кардіопульмонологією, органами черевної порожнини, ЛОР-захворюваннями, неврологічними або психіатричними розладами, а також опорно-руховим апаратом. Google зазначає, що дослідження за участю реальних пацієнтів та їхніх власних проблем зі здоров’ям мають бути проведені до того, як можна буде робити висновки щодо клінічного використання.

AMIE розподіляє відеоконсультацію між трьома агентами

AMIE використовує асинхронну багатоагентну архітектуру, а не покладає ведення діалогу, клінічне обґрунтування та сприйняття на один процес моделі. Google зазначає, що один агент наразі не може одночасно підтримувати природну швидкість розмовної відповіді, проводити детальне обґрунтування та безперервно обробляти аудіовізуальні дані.

Агент-співрозмовник відповідає за усну взаємодію з пацієнтом. Він прагне підтримувати перебіг розмови, використовуючи інформацію від інших агентів. Агент-планувальник працює у фоновому режимі, оновлюючи диференційні діагнози та плани лікування в міру розвитку консультації. Він також визначає відсутню інформацію та змінює пріоритетність клінічних цілей.

Агент сприйняття безперервно аналізує відео- та аудіопотоки. Він шукає невербальні ознаки, результати фізикального обстеження та слухові сигнали, а потім поміщає ці спостереження в клінічний контекст розмови.

Затримка залишається ключовим фактором. Глибоке клінічне обґрунтування потребує часу, а довгі паузи можуть впливати на взаєморозуміння під час консультації. Архітектура Google відокремлює діалог із пацієнтом від повільнішої роботи з обґрунтування та сприйняття, що дає змогу агенту-співрозмовнику відповідати, не очікуючи завершення кожного фонового процесу.

Google повідомляє, що автоматизовані оцінювання показали: кожен агент покращував клінічні показники, зокрема збір анамнезу, клінічне обґрунтування та рекомендації щодо лікування. Оцінювання також охоплювало комунікацію, орієнтовану на пацієнта, і затримку відповіді.

У дослідженні відеоверсію AMIE порівнювали з текстовою версією та лікарями

Google організувала оцінювання за участю людей як рандомізоване дослідження з кількома групами. AMIE проводила відеоконсультації в режимі реального часу. Текстова версія AMIE слугувала базовим показником для порівняння різних форматів. Десять сертифікованих лікарів первинної медичної допомоги використовували той самий відеоінтерфейс.

Незалежна група з 20 досвідчених лікарів первинної медичної допомоги переглянула кожну консультацію, використовуючи усталені клінічні критерії оцінювання. Спочатку група оцінювала загальну клінічну компетентність, а потім застосовувала критерії, адаптовані до конкретного сценарію.

Дослідження охоплювало п’ять систем організму. Кожен сценарій передбачав стандартизований формат консультації з підготовленим актором, який грав пацієнта.

Google зазначає, що експерти оцінили AMIE на рівні групи лікарів первинної медичної допомоги за ретельністю збору анамнезу, точністю діагностики, обґрунтованістю тактики лікування та якістю комунікації. AMIE (Відео) також була не гіршою або кращою за AMIE (Текст) за цими показниками.

Експерти оцінили відеосистему вище за групу лікарів первинної медичної допомоги та текстову AMIE у виявленні фізичних ознак і проактивному супроводі акторів під час віртуальних маневрів обстеження. Оцінки сприйняття та обстеження за конкретними випадками відображали ту саму заявлену закономірність.

Актори, які грали пацієнтів, також віддали перевагу синхронному відеоінтерфейсу перед текстовим чатом. Google повідомляє, що вони визнали відеоформат зручнішим у використанні та ефективнішим для повідомлення про проблеми зі здоров’ям. Порівняно з обома іншими варіантами дослідження актори позитивно оцінили AMIE за емпатію, взаєморозуміння та впевненість у наданні допомоги.

Автоматизоване тестування передувало оцінюванню лікарями

Google розробила набір автоматизованих оцінювань для вдосконалення відеосистеми до початку дослідження за участю людей. Її структура ґрунтується на таксономії компетентностей у сфері телемедицини з медичної літератури та охоплює візуальні ознаки, слухові сигнали й маневри фізикального обстеження.

Оцінювання в одному діалозі перевіряли конкретні завдання зі сприйняття та обґрунтування. Google наводить як приклади визначення латеральності анатомічних структур і ознак дихальної недостатності. Багатоетапні змодельовані аудіоконсультації оцінювали ефективність системи в розмові протягом тривалішої взаємодії.

У деяких із цих багатоетапних симуляцій візуальні дані надходили у вигляді текстових описів. Наприклад, у сценарії з хворобою Паркінсона симулятор пацієнта на основі ШІ міг описати, як пацієнт тримає перед камерою аркуш із дрібним, стислим почерком. Такий підхід допоміг Google перевірити поведінку в діалозі разом із візуальною інформацією, хоча він не відтворює повноцінну пряму відеотрансляцію.

Автоматизований набір оцінювань давав змогу швидко змінювати дизайн системи та виявляти прогалини в її можливостях до початку дослідження за участю акторів. Подальше оцінювання за методикою OSCE використовувало інтерфейс синхронної відеоконсультації, хоча представлення пацієнтів і далі відбувалися за підготовленими сценаріями.

Розбіжність між цими методами має впливати на обговорення закупівель і управління. Автоматизовані оцінювання можуть масштабно перевіряти визначені завдання зі сприйняття. Змодельовані відеоконсультації можуть оцінювати якість взаємодії в контрольованих умовах. Жоден із цих методів не встановлює ефективність роботи з пацієнтами, чиї симптоми, поведінка, підключення, середовище та медична історія виходять за межі підготовленого випадку.

Виробничі докази досі обмежуються роботою з текстом

Google визначає кілька обмежень дослідження AMIE. Професійні актори не можуть повністю відтворити різноманітність реальних зустрічей із пацієнтами. Сценарії також не охоплювали випадки, які актори не могли достовірно зіграти, зокрема ситуації, у яких аудіовізуальне сприйняття може мати більшу діагностичну цінність.

Цільові автоматизовані оцінювання виявили поодинокі помилки сприйняття та обґрунтування. Google також повідомляє про періодичні технічні проблеми, які можуть переривати природність розмови. Project Astra залишається прототипом, а технічні аспекти на рівні системи виходять за межі цього медичного застосування. Google заявляє, що наступним етапом стане дослідження за участю реальних пацієнтів.

Компанія розпочала пов’язану роботу в клінічних умовах із текстовою AMIE. За словами Google, техніко-економічне дослідження з Beth Israel Deaconess Medical Center надало початкові докази безпеки та корисності в клінічній практиці. Поточне загальнонаціональне рандомізоване дослідження за участю Included Health оцінює ШІ у віртуальній медичній допомозі в реальних умовах.

Дослідження Google надає контрольовані докази щодо поведінки під час відеоконсультацій, рекомендацій із проведення фізикального обстеження та оцінювання лікарями. Воно ще не доводить, що AMIE може безпечно діагностувати або лікувати реальних пацієнтів у виробничих умовах.

Дивіться також: Novo Nordisk і AWS впроваджують агентний ШІ у відкриття ліків

Хочете дізнатися більше про ШІ та великі дані від лідерів галузі? Відвідайте AI & Big Data Expo, що відбудеться в Амстердамі, Каліфорнії та Лондоні. Цей комплексний захід є частиною TechEx і проходитиме одночасно з іншими провідними технологічними заходами, зокрема Cyber Security & Cloud Expo. Натисніть тут, щоб дізнатися більше.

AI News працює за підтримки TechForge Media. Ознайомтеся з іншими майбутніми заходами та вебінарами у сфері корпоративних технологій тут.