Бывшие учёные Meta хотят внедрить визуальный ИИ на производстве

ИИ преобразует всё вокруг нас, но до сих пор в основном оставался в пределах цифровой сферы. Однако всё чаще стартапы стремятся перенести его в реальный мир.

Perceptron — один из таких стартапов, основанный двумя бывшими учёными-исследователями Meta. Компания, созданная в ноябре 2024 года, разрабатывает передовые модели компьютерного зрения, призванные помочь машинам более компетентно взаимодействовать с окружающей их физической средой.

На этой неделе компания представила свою последнюю модель Isaac 0.5, которая, по словам её создателей, призвана дать машинам возможность «воспринимать, рассуждать и действовать» в промышленных условиях. В частности, программное обеспечение способно помогать роботам с визуальным управлением ориентироваться в сложных пространствах, таких как склады или производственные цеха. Оно также помогает компаниям извлекать визуальную информацию из видео, записанных этими роботами.

Isaac 0.5 также выпускается как модель с открытыми весами, поэтому её параметры и материалы для обучения может изучить любой желающий.

Стартап, недавно привлёкший $21 млн в раунде финансирования под руководством Bessemer Venture Partners, был соосноват Арменом Агажаняном и Акшатом Шриваставой, которые ранее работали в подразделении Fundamental AI Research (FAIR) технологического гиганта Meta, занимающемся исследованиями в области ИИ. Они видят в своём программном обеспечении будущее промышленного автоматизированного развертывания.

«Физический ИИ сегодня ставит перед нами ложный выбор: универсальные базовые модели, которым для каждого экземпляра требуется несколько выделенных облачных графических процессоров, или узкоспециализированные модели, способные работать с восприятием либо управлением, но никогда — с обоими аспектами одновременно», — заявляет компания.

Агажанян и Шривастава утверждают, что их инструмент отличается от существующих моделей в этой сфере тем, что является универсальным, то есть создан не для выполнения одной конкретной повторяющейся задачи. Вместо этого, по их словам, модель разработана так, чтобы быть гибкой в зависимости от конкретной среды (или ситуации), в которой она находится.

В интервью Шривастава предложил мне представить, что включает в себя такой простой физический процесс, как сортировка коробок: «Представьте, что прямо сейчас робота внедряют для сортировки посылок. Какие задачи ему потребуется выполнять?»

Такая относительно простая задача действительно состоит из множества этапов. Сначала роботу пришлось бы прочитать этикетку на посылке, провести пространственный анализ, чтобы понять, где находятся коробки, и решить, какую из них поднять. Если бы ему нужно было поднимать ряд коробок, пришлось бы спланировать, какие коробки брать и в каком порядке.

Программное обеспечение Perceptron призвано помогать роботам проходить через каждый этап этого процесса. Стоит отметить, что в отрасли уже существует программное обеспечение, способное помочь машинам выполнить большинство таких задач, однако программ, разработанных для гибкого выполнения этих действий, немного.

Откуда берутся данные для этой алгоритмической алхимии?

Модели вроде Isaac 0.5 осваивают операционные навыки, поглощая гигантские объёмы обучающих видеоданных. Perceptron утверждает, что его новая модель обучалась на миллионе часов так называемого общего видеоматериала, чтобы научить алгоритм распознавать определённые условия, визуальные образы и сценарии. Компания также активно использовала так называемые эгоцентрические видео — видео, снятые обычно с помощью GoPro или носимой камеры с точки зрения человека, выполняющего физическую задачу, — а также видео UMI, которые аналогичным образом используются для обучения ИИ-систем движениям посредством записи повторяющихся действий человека.

Хотя Perceptron не раскрывает источники своих обучающих данных, Шривастава сообщил, что компания «внутри создала наборы данных петабайтного масштаба, охватывающие различные модальности — изображения, текст, видео и так далее, вплоть до траекторий движения роботов».

Очевидно, что программное обеспечение, способное помогать роботам эффективно работать на складах, обладает огромной практической ценностью, и Perceptron считает, что находится в выгодном положении, чтобы возглавить эту волну автоматизации. Стартап готов предлагать своё программное обеспечение различным поставщикам и тем самым потенциально интегрировать свой интеллектуальный слой в широкий спектр отраслей.

К ним относятся производство, логистика и складское хозяйство, безопасность, транспортная мобильность, а также медиа и индустрия развлечений.

«Ничего подобного в действительности пока не существует», — сказал Агажанян. «Мы очень воодушевлены этим».