Сможет ли Safeworld убедить людей, что роботы с GenAI не причинят им вреда?

Главная тенденция в робототехнике — передача управления генеративной модели ИИ, но это влечет за собой проблему: такая архитектура не настолько предсказуема, как традиционные алгоритмы. Как убедиться, что ваш совершенно новый гуманоид будет безопасным?

Доктор Дин Чжао, руководитель лаборатории Safe AI в Университете Карнеги — Меллона, работает над этой проблемой практически всю свою карьеру. Теперь вместе с ветераном управления стартапами Кайлом Вонгом и инженером по машинному обучению Симо Рачиди он основал компанию Safeworld, призванную решить эту проблему.

«Проблема безопасности, о которой мы говорим, состоит из двух частей. Во-первых, это действительно продвинутая вероятностная оценка генеративного ИИ — как оценить риски вероятностной системы? — говорит Чжао. — Вторая, действительно сложная часть — это доверие, а для внедрения робота нужны и то, и другое».

Safeworld выходит из режима скрытой разработки сегодня, объявив о посевном раунде объемом более 12 миллионов долларов, который возглавили Shine Capital и a16z Speedrun. Дополнительные инвестиции поступили от Box Group, эндаумента Университета Карнеги — Меллона, Innovation Endeavors и SV Angel.

«Сейчас самое время создавать отраслевой стандарт безопасности, пока роботов проектируют и внедряют, — заявил TechCurnch партнер a16z Speedrun Джонатан Лай. — Когда роботы уже окажутся в домах, начнут сталкиваться с детьми и приводить к инцидентам, будет слишком поздно».

Специализация Safeworld — оценка роботизированной системы управления в симуляциях, населенных реалистичными моделями людей. Это похоже на задачу, с которой сталкиваются такие компании, как Tesla или Wayve: им необходимо убедиться, что их автомобили надлежащим образом реагируют на множество неожиданных происшествий, которые могут встретиться на дороге. Однако, утверждает Чжао, для роботов это будет сложнее, поскольку они работают в неструктурированных средах, а на каждом объекте, где они находятся, будут действовать свои стандарты безопасности.

«Одна из самых распространенных ситуаций — глухой угол на конкретной фабрике, — сказал Вонг. — Какими должны быть скорость или тормозной путь, чтобы гарантировать, что этот робот не столкнется с конкретным человеком? Если человек, например, несет коробки, обнаружит ли робот этого человека?»

Чтобы ответить на этот вопрос, Safeworld создаст цифровую версию такого угла в модели вроде Genesis или MuJoCo, добавит симуляцию оцениваемого робота, управляемого его реальным программным обеспечением, а затем запустит тысячи сценариев, в которых модели людей будут сталкиваться с роботом. По словам Чжао, это сложнее, чем кажется, поскольку люди непредсказуемы.

«Спотыкание и падение — еще один хороший пример того, что мы часто тестируем с помощью симуляции, — сказал Вонг. — Иначе вам пришлось бы самим спотыкаться и падать перед роботом, а постоянно делать это довольно сложно».

Между платформой, которую создает Safeworld, и инструментами, которые робототехнические компании используют внутри, есть очевидное сходство. Однако основатели считают, что помимо их специализированной экспертизы производители роботов захотят, чтобы третья сторона проверяла их работу, хотя бы для того, чтобы обмениваться информацией о сценариях безопасности между конкурентами.

«Многие недооценивают, насколько трудно будет решить некоторые из этих нестандартных ситуаций, — сказал Чжао. — Нас беспокоит не робот в вакууме, на демонстрации. Нас беспокоит робот, развернутый в больших масштабах, рядом с людьми, которые, возможно, никогда раньше не управляли роботом».

Вишал Дугар, технический директор Gritt Robotics, разрабатывает ИИ-мозг для роботов, которые в настоящее время помогают рабочим устанавливать фотоэлектрические панели на промышленных солнечных фермах и стремятся перейти к более сложным строительным задачам. Его компания сотрудничает с Safeworld в разработке симуляций безопасности.

«Проблема большинства наших систем в том, что очень трудно формально доказать их безопасность с помощью математики, написав несколько уравнений и заявив, что система проверена и безопасна, — говорит Дугар. — Это неизбежно приходится делать эмпирическим путем».

Его роботы работают рядом с людьми, и обеспечение того, чтобы роботизированная рука не ударила их, очевидно, является главным приоритетом. Для практической проверки этого требования необходимо рассмотреть всевозможные потенциальные сценарии.

«У людей бывает множество вариантов внешности, — отмечает Дугар. — Их тела могут принимать разные положения. Они могут стоять на коленях или стоять. Они могут споткнуться и потенциально упасть. Они могут приседать. Они могут бежать. Нужно реагировать на все эти возможные действия людей на таких объектах, а также на разнообразные варианты человеческой внешности: одежду, размер, телосложение, рост, цвет кожи и все остальное».

И Safeworld, и генеративный ИИ в робототехнике все еще находятся на ранней стадии развития, а компания пока определяет лучшую модель для своего продукта — платформу для внешних пользователей или подход, основанный на предоставлении услуг? — но команда уверена, что взялась за правильную проблему.

«Вероятно, мы станем первой прибыльной компанией в этой сфере, — говорит Захо. — Потому что, если кто-то захочет внедрить роботов, ему придется заплатить нам за решение этой задачи».