Чи зможе Safeworld переконати людей, що роботи з GenAI не завдадуть їм шкоди?

Великий тренд у робототехніці — передати керування генеративній моделі ШІ, але це породжує проблему: така архітектура не є передбачуваною такою мірою, як традиційні алгоритми. Як можна бути впевненим, що ваш новенький гуманоїд буде безпечним?

Доктор Дін Чжао, який очолює лабораторію безпечного ШІ в Університеті Карнегі-Меллона, працює над цією проблемою майже всю свою кар’єру. Тепер разом із досвідченим керівником стартапів Кайлом Вонгом та інженером з машинного навчання Сімо Рачіді він заснував компанію Safeworld, покликану її розв’язати.

«Проблема безпеки, про яку ми говоримо, складається з двох частин: по-перше, це справді передові ймовірнісні оцінювання генеративного ШІ — як оцінити ризик імовірнісної системи? — каже Чжао. — Друга частина, яка є справді складною, — це довіра, і для розгортання робота потрібні обидві складові».

Safeworld виходить із режиму непублічної розробки із посівним раундом фінансування на суму понад 12 мільйонів доларів, який очолили Shine Capital і a16z Speedrun; додаткові інвестиції надійшли від Box Group, Carnegie Mellon University Endowment, Innovation Endeavors та SV Angel.

«Саме зараз, поки роботів проєктують і впроваджують, потрібно створювати галузевий стандарт безпеки, — сказав партнер a16z Speedrun Джонатан Лай виданню TechCurnch. — Коли роботи вже опиняться в домівках, стикатимуться з дітьми та спричинятимуть інциденти, пов’язані з безпекою, буде вже надто пізно».

Спеціалізація Safeworld — оцінювання роботизованої системи керування в симуляціях, населених реалістичними моделями людей. Це схоже на завдання, з яким стикаються такі компанії, як Tesla або Wayve, яким потрібно забезпечити належну реакцію своїх транспортних засобів на різноманітні несподівані інциденти, що можуть трапитися на дорозі. Однак для роботів це буде складніше, стверджує Чжао, оскільки вони працюють у неструктурованих середовищах, а в кожному об’єкті, де вони перебувають, діятимуть різні стандарти безпеки.

«Однією з найпоширеніших проблем є, наприклад, глухий кут у конкретному цеху, — сказав Вонг. — Якою має бути швидкість або гальмівний шлях, щоб цей робот не зіткнувся з людиною? Якщо людина, наприклад, несе коробки, чи виявить робот цю людину?»

Щоб відповісти на це запитання, Safeworld створить цифрову версію такого кута в моделі на кшталт Genesis або MuJoCo, додасть симуляцію робота, якого оцінюють, керовану його реальним програмним забезпеченням, а потім запустить тисячі сценаріїв, у яких моделі людей взаємодіятимуть із роботом. За словами Чжао, це складніше, ніж здається, оскільки люди непередбачувані.

«Спотикання й падіння — також хороший приклад того, що ми багато тестуємо за допомогою симуляції, — сказав Вонг. — Інакше вам довелося б самим спотикатися й падати перед роботом, а постійно робити це досить складно».

Між платформою, яку створює Safeworld, та інструментами, що використовують самі розробники роботів, є очевидні подібності. Однак засновники вважають, що, крім їхньої специфічної експертизи, виробники роботів захочуть, щоб стороння компанія перевіряла їхню роботу — хоча б для обміну інформацією про безпекові сценарії між конкурентами.

«Багато хто недооцінює, наскільки складними для розв’язання будуть деякі з цих нестандартних ситуацій, — сказав Чжао. — Нас непокоїть не робот у вакуумі, на демонстрації. Нас непокоїть робот, розгорнутий у масштабі, поруч із людьми, які, можливо, ніколи раніше не керували роботом».

Вішал Дугар, технічний директор компанії Gritt Robotics, розробляє ШІ-мозок для роботів, які нині допомагають працівникам встановлювати фотоелектричні панелі на промислових сонячних електростанціях і прагнуть взятися за складніші будівельні завдання. Його компанія співпрацює із Safeworld у розробці симуляцій безпеки.

«Складність більшості наших систем полягає в тому, що їх дуже важко формально довести математично: написати рівняння й сказати, що так, система перевірена на безпеку, — каже Дугар. — Це неодмінно потрібно робити емпірично».

Його роботи працюють поруч із людьми, тож очевидно, що запобігання ударам роботизованої руки по працівниках є пріоритетом. Щоб перевірити це на практиці, потрібно врахувати всілякі потенційні сценарії.

«Люди мають безліч варіантів зовнішності, — зазначає Дугар. — Їхні тіла можуть перебувати в різних положеннях. Вони можуть стояти на колінах або стояти. Вони потенційно можуть спіткнутися й упасти. Вони можуть присісти. Вони можуть бігти. Потрібно реагувати на всі ці дії, які люди потенційно можуть виконувати на таких об’єктах, а також на різноманітні варіації людської зовнішності: одяг, розмір, форму, зріст, колір шкіри — на все інше».

І Safeworld, і генеративний ШІ в робототехніці все ще перебувають на ранніх етапах, а компанія досі визначається з найкращою моделлю для свого продукту — платформою для зовнішніх користувачів чи підходом, заснованим на наданні послуг? — але команда впевнена, що взялася за правильну проблему.

«Ми, ймовірно, станемо першою прибутковою компанією в цій галузі, — каже Zaho. — Бо якщо хтось захоче розгорнути систему, йому доведеться платити нам за врегулювання ситуації».