Исследователи из Бристоля: медицина уже знает, как справляться с чёрными ящиками, и ИИ может у неё этому научиться

Исследователи из Бристольского университета предлагают структуру, которая позволяет разработчикам систематически проверять надёжность ИИ-систем в медицинской практике. В её основу положены стандарты, используемые медициной для вывода новых лекарств на рынок.

Медицинские ИИ-системы часто хорошо показывают себя на ранних испытаниях, но начинают давать сбои после внедрения в клиниках, поскольку цепляются за особенности обучающих данных, не имеющие отношения к фактическому диагнозу.

Медицина сталкивается с похожей неопределённостью в отношении лекарств, точный эффект которых в организме изучен не полностью. Тем не менее она разработала способы надёжного применения таких соединений. Каждое лекарство сопровождается структурированным информационным пакетом, в котором указаны условия его действия, включая дозировку, время приёма и группу пациентов. Именно этот пакет превращает химическое вещество в надёжное средство лечения.

Вдохновившись этим, бристольские исследователи предлагают аналогичный пакет для разработчиков медицинского ИИ.

Инструментарий из трёх частей

Предложенная система «Learning Ensemble» охватывает три области, которые разработчики должны описать и проверить до того, как система начнёт использоваться для пациентов.

Первая касается ограничений системы, включая врачей или клиники, для которых она предназначена, оборудование, на котором она работает, и данные о пациентах, на которых она обучалась. Исследование 2021 года показывает, почему это важно: ИИ-система должна была выявлять инфекцию COVID-19 по рентгеновским снимкам, но вместо распознавания признаков заболевания в лёгких ориентировалась на случайные детали изображений, которые лишь коррелировали с диагнозом. Как только систему внедрили в другой клинике, она перестала работать.

Вторая область — надёжность для разных групп пациентов. Среднего показателя точности недостаточно, поскольку система может хорошо выглядеть в целом, регулярно ошибаясь при этом в отношении отдельных групп. Другое исследование 2021 года показало, что ИИ-системы, анализирующие рентгеновские снимки, значительно реже выявляли заболевания у недостаточно обслуживаемых групп населения. Внедрение таких систем нанесло бы вред именно пациентам, которые и без того получают менее качественную помощь.

Третья область, по мнению исследователей, наиболее важна: действительно ли система соответствует своему предполагаемому клиническому назначению. Технически работоспособная система всё равно может оказаться бесполезной в клинике. Например, одна ИИ-система оценивала у пациентов с астмой и пневмонией низкий риск смерти. В обучающих данных они действительно выживали чаще, но лишь потому, что отделения неотложной помощи особенно активно их лечили. Для сортировки пациентов, задача которой заключается в оценке риска у новых пациентов, такой результат был бесполезен.

Авторы рассматривают свою работу как отправную точку. Создание надёжной медицинской ИИ-системы на практике по-прежнему остаётся сложным процессом проб и ошибок, требующим экспертизы, внешней проверки и постоянной доработки. Их структура призвана дать разработчикам общий язык и единый подход, чтобы выявлять проблемы на более раннем этапе.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный годовой отчёт о передовых разработках «AI Radar», выходящий шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.