Circuit Breaker Labs сподівається зробити ШІ безпечнішим для ваших дітей (і вас)

На тлі всіх розмов про те, що ШІ одного дня може знищити нас усіх, легко забути, що ШІ вже становив загрозу для життя деяких людей — не через біологічну зброю, а психологічно.

Наприклад, Character.AI врегулювала кілька позовів про смерть через недбалість на початку цього року. Їх подали родини неповнолітніх користувачів, які вчинили самогубство після взаємодії з її ботами. Кілька родин також подали позови проти OpenAI через імовірну роль ChatGPT у самогубствах і маренні їхніх близьких.

Зробити ШІ безпечнішим для різних мов і культур — така місія Circuit Breaker Labs, одного з 200 фіналістів TechCrunch Startup Battlefield 2026. (Circuit Breaker презентуватиме свій проєкт на TechCrunch Disrupt, який відбудеться в Moscone West у Сан-Франциско 13–15 жовтня 2026 року.)

Засновники компанії, брат і сестра Ширалі та Арул Ніґами, надихнулися історією Сьюелла Сетцера — 14-річного підлітка, який емоційно прив’язався до чат-бота Character.ai та зізнавався йому в думках про заподіяння собі шкоди, перш ніж учинити самогубство. За словами батьків, які заявили про це в позові 2024 року, бот підштовхував його до цього. Бот, можливо, не зрозумів, що насправді означали слова на кшталт «Я хочу бути з тобою», сказав Арул Ніґам, технічний директор Circuit Breaker Labs.

«Багато людей, особливо молодь, звертаються до цих систем по підтримку, але зазвичай не отримують необхідної допомоги. У багатьох випадках їм, навпаки, активно завдають шкоди, і люди, на жаль, уже позбавили себе життя», — сказав Ніґам. «Ми намагаємося запобігти таким вразливостям безпеки, коли люди не обов’язково активно намагаються зламати систему — вони взаємодіють із нею природним чином, — а система має забруднений контекст або не розуміє нюансів і через це вдається до справді небезпечних дій».

Circuit Breaker Labs створила ШІ-агентів, яких порівнює з армією манекенів для краш-тестів. Ці агенти імітують людей різного віку, походження, мов і культур та використовуються для перевірки здатності моделей виявляти небезпечні взаємодії, що можуть завдати психологічної шкоди.

«Шестирічна дівчинка і 45-річний чоловік, людина, для якої англійська є рідною мовою, і людина, яка вивчила її як другу, або … геймерський сленг і сленг, яким користується хтось інший, — усе це може справді збити модель з пантелику», — сказала Ширалі Ніґам, генеральна директорка Circuit Breaker Labs. «Моделі дуже добре справляються зі стандартними мовними конструкціями, але насправді так ніхто не розмовляє, і якщо модель неправильно зрозуміє нюанс або сленг, наслідки можуть бути дуже серйозними».

Стартап співпрацює з експертами-людьми у відповідних галузях, щоб створювати надреалістичні симуляції користувачів і проводити «червоні командні» тести моделей — змагальні тести, покликані виявляти слабкі місця. Тести розроблені з урахуванням реальних моделей людського мовлення, сленгу, кодованої мови та друкарських помилок. Після цього Circuit Breaker Labs проводить від десятків до сотень тисяч змодельованих взаємодій на день.

Мета полягає в тому, щоб переконатися, що модель може належним чином реагувати на ризиковані взаємодії, які можуть виникати з часом і в ході численних розмов. Потім Circuit Breaker Labs застосовує власний метод оцінювання для створення показників, які можна перевірити та пояснити.

Наразі Circuit Breaker Labs працює як лабораторія тестування безпеки ШІ для високоризикових застосувань, таких як коучинг за допомогою ШІ, ведення щоденника або інші застосунки для підтримки психічного здоров’я, хоча Арул Ніґам відмовився назвати її ключових клієнтів. Хоча стартап має готовий продукт, він перебуває на дуже ранній стадії розвитку: у ньому працюють лише п’ятеро людей, включно з братом і сестрою Ніґам.

Зрештою платформу тестування можна буде застосовувати до будь-якого застосунку, де людина може провалитися в яму «психозу від ШІ» — стану, за якого виникає ризик розвитку парасоціальних стосунків із чат-ботом. Серед прикладів — агенти-«колеги» на основі ШІ, чиї відповіді можуть відрізнятися від однієї взаємодії до іншої.

«Люди дедалі більше скептично ставляться до ШІ або загалом чинять більший опір його впровадженню», — сказав Арул Ніґам, додавши, що хоча скептицизм є здоровою реакцією, заборона потенційно цінного інструменту через побоювання щодо безпеки була б «регресивною».

Circuit Breaker Labs вважає, що відповідь на ці побоювання полягає в тому, щоб зробити ШІ безпечнішим. «Ми хочемо допомогти вибудувати цю довіру людей».

Дізнайтеся більше про Circuit Breaker Labs та багато інших інноваційних стартапів, перевірених TechCrunch, на нашому конкурсі Startup Battlefield, який відбудеться в центрі Сан-Франциско 13–15 жовтня.