Дослідники з Бристоля: медицина вже знає, як працювати з «чорними скриньками», і ШІ може цього в неї навчитися

Дослідники з Брістольського університету пропонують структуру, яка дає змогу розробникам систематично перевіряти, наскільки надійними є системи ШІ в медичному застосуванні. За основу вони взяли стандарти, які медицина використовує для виведення нових лікарських препаратів на ринок.

Медичні системи ШІ часто добре показують себе на ранніх тестах, але дають збій після потрапляння до клініки, оскільки чіпляються за ознаки в навчальних даних, які не мають нічого спільного з фактичним діагнозом.

Медицина стикається з подібною невизначеністю щодо препаратів, точний вплив яких на організм не до кінця зрозумілий. Попри це, вона розробила способи надійного використання таких сполук. Кожен препарат має структурований інформаційний пакет, у якому зазначено умови його дії, зокрема дозування, час застосування та групу пацієнтів. Саме цей пакет перетворює хімічну речовину на надійну терапію.

Натхненні цим, бристольські дослідники пропонують аналогічний пакет для розробників медичних систем ШІ.

Інструментарій із трьох частин

Запропонований підхід «Learning Ensemble» охоплює три сфери, які розробники мають задокументувати й перевірити до початку використання системи на пацієнтах.

Перша стосується обмежень системи, зокрема того, для яких лікарів або клінік вона призначена, на якому обладнанні працює та на яких даних про пацієнтів її навчали. Дослідження 2021 року показує, чому це важливо: система ШІ мала виявляти COVID-інфекцію на рентгенівських знімках, але замість ознак захворювання в легенях орієнтувалася на випадкові деталі зображень, які просто корелювали з діагнозом. Щойно систему розгорнули в іншій клініці, вона дала збій.

Друга сфера — надійність для різних груп пацієнтів. Середнього показника точності недостатньо, адже система може загалом виглядати добре, регулярно помиляючись щодо окремих груп. Інше дослідження 2021 року показало, що системи ШІ, які аналізують рентгенівські знімки, значно рідше виявляли захворювання в недостатньо забезпечених медично групах населення. Використання таких систем завдало б шкоди саме пацієнтам, які й без того отримують гіршу медичну допомогу.

На думку дослідників, третя сфера є найважливішою — це питання, чи відповідає система взагалі своєму передбаченому клінічному призначенню. Система, яка технічно працює, усе одно може виявитися непотрібною в клініці. Наприклад, одна система ШІ оцінювала пацієнтів з астмою та пневмонією як таких, що мають низький ризик смерті. У навчальних даних вони справді виживали частіше, але лише тому, що в невідкладних відділеннях їх лікували особливо інтенсивно. Для сортування пацієнтів, яке передбачає оцінювання ризику для нових пацієнтів, результат був непридатним.

Автори розглядають свою роботу як відправну точку. Створення надійної медичної системи ШІ на практиці залишається складним процесом проб і помилок, який потребує експертних знань, зовнішньої перевірки та постійного налаштування. Їхня структура має дати розробникам спільну мову й організацію для раннього виявлення проблем.

Новини ШІ без ажіотажу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.