PrismML переносить свої крихітні LLM на розумні окуляри з чипами Qualcomm

Лабораторія штучного інтелекту PrismML — заснована дослідниками Caltech і консультована Іоном Стоїкою з UC Berkeley — створила версію своїх компактних мовних моделей для розумних окулярів, що працюють на чипах Snapdragon від Qualcomm.

У середу на саміті Snapdragon компанія Qualcomm продемонструвала 1-бітну велику мовну модель Bonsai від PrismML, яка може працювати локально на розумних окулярах зі штучним інтелектом, створених на базі платформи Snapdragon AR1 Gen 1.

Як раніше повідомляв TechCrunch, головна перевага PrismML полягає в тому, що вона суттєво зменшує великі моделі (у цьому випадку — у 4 рази), зберігаючи майже всю їхню продуктивність у стандартних тестах. Версія для розумних окулярів — це модель із 2 мільярдами параметрів, оптимізована для роботи із зором і мовою, тож користувачі можуть у реальному часі запитувати, на що вони дивляться.

Головна мета Prism — створити ШІ з відкритими вагами, який працює на пристроях і ефективніше використовує наявні в них обчислювальні потужності. Стартап позиціонує це як альтернативу залежності від обіцянок приватності з боку розробників пропрієтарного ШІ та їхньої невтамовної потреби в дедалі більших обчислювальних ресурсах.

Випуск моделі для чипа Qualcomm — крок до реалізації цього задуму. Однак про розумні окуляри, що працюють на PrismML, поки не оголошували.