Колишні науковці Meta хочуть впровадити візуальний ШІ у виробничих цехах

ШІ трансформує все навколо нас, але досі здебільшого залишався в межах цифрової сфери. Однак дедалі частіше стартапи прагнуть перенести його в реальний світ.

Perceptron — один із таких стартапів, заснований двома колишніми науковцями-дослідниками Meta. Компанія, заснована в листопаді 2024 року, розробляє передові моделі комп’ютерного зору, покликані допомогти машинам компетентніше взаємодіяти з фізичним середовищем.

Цього тижня компанія представила свою останню модель Isaac 0.5, яка, за словами її творців, покликана надати машинам здатність «сприймати, міркувати й діяти» в промислових умовах. Зокрема, програмне забезпечення здатне допомагати роботам із візуальним керуванням орієнтуватися в складних середовищах, таких як склади або виробничі приміщення. Воно також допомагає компаніям добувати візуальну інформацію з відео, записаних цими роботами.

Isaac 0.5 також випускається як модель із відкритими вагами, тож її параметри та навчальні матеріали може перевірити будь-хто.

Стартап, який нещодавно залучив $21 мільйон у раунді фінансування під керівництвом Bessemer Venture Partners, був співзаснований Арменом Агажаняном та Акшатом Шрівстававою, які раніше працювали у Fundamental AI Research (FAIR) компанії Meta — дослідницькому підрозділі технологічного гіганта у сфері ШІ. Цей дует вважає своє програмне забезпечення майбутнім промислового автоматизованого розгортання.

«Фізичний ШІ сьогодні змушує робити хибний вибір: між універсальними базовими моделями, яким для кожного екземпляра потрібні численні спеціалізовані хмарні графічні процесори, і вузькоспеціалізованими моделями, які працюють зі сприйняттям або керуванням, але ніколи не поєднують обидва ці завдання», — заявляє компанія.

Агажанян і Шрівастава стверджують, що їхній інструмент відрізняється від наявних моделей у цій сфері тим, що має загальне призначення, тобто його створено не для одного конкретного повторюваного завдання. Натомість, за їхніми словами, модель розроблена так, щоб бути гнучкою залежно від конкретного середовища (або ситуації), у якому вона перебуває.

В інтерв’ю Шрівастава попросив мене замислитися над тим, що включає такий простий фізичний процес, як сортування коробок: «Уявімо, що просто зараз робота розгортають для сортування посилок. Які завдання йому доведеться виконати?»

Таке відносно просте завдання насправді складається з багатьох етапів. Спочатку робот мав би прочитати етикетку на посилці, провести просторовий аналіз, щоб зрозуміти, де розташовані коробки, і вирішити, яку з них підняти. Якщо він підніматиме серію коробок, то муситиме спланувати, які коробки піднімати та в якому порядку.

Програмне забезпечення Perceptron розроблене, щоб допомогти роботам пройти через кожен етап цього процесу. Варто зазначити, що в галузі вже існує програмне забезпечення, здатне допомогти машинам виконувати більшість цих завдань, але програм, розроблених для гнучкого виконання, небагато.

Звідки ж беруться дані для цієї алгоритмічної алхімії?

Моделі на кшталт Isaac 0.5 навчаються операційних навичок, поглинаючи гігантські обсяги навчальних відеоданих. У Perceptron кажуть, що нову модель навчали на мільйоні годин так званого загального відео, щоб навчити алгоритм розпізнавати конкретні середовища, візуальні об’єкти та сценарії. Компанія також значною мірою покладалася на так зване егоцентричне відео — відео, зазвичай зняте за допомогою GoPro або носійної камери з перспективи людини, яка виконує фізичне завдання, — а також на UMI-відео, яке аналогічно використовують для навчання систем ШІ рухів, записуючи повторювані дії людей.

Хоча Perceptron не розкриває джерел своїх навчальних даних, Шрівастава сказав, що компанія «внутрішньо створила набори даних петабайтного масштабу, які охоплюють різні модальності — зображення, текст, відео тощо — аж до траєкторій руху роботів».

Очевидно, що програмне забезпечення, здатне допомогти роботам компетентно працювати на складах, має величезну практичну цінність, і Perceptron вважає, що має хороші позиції, аби очолити цю хвилю автоматизації. Стартап готовий пропонувати своє програмне забезпечення різноманітним постачальникам, а отже, його інтелектуальний рівень потенційно може бути інтегрований у широкий спектр галузей.

До цих галузей належать виробництво, логістика та складське господарство, безпека, мобільність, а також медіа й розваги.

«Нічого подібного насправді не існує», — сказав Агажанян. «Ми дуже цим захоплені».