PrismML адаптировала малые языковые модели для очков Qualcomm
Лаборатория искусственного интеллекта PrismML разработала версию своих компактных языковых моделей для умных очков на чипах Qualcomm Snapdragon. Лабораторию основали исследователи Caltech, а консультирует ее Ион Стойка из Калифорнийского университета в Беркли. На Snapdragon Summit Qualcomm показала ее 1-битную модель Bonsai LLM, способную работать непосредственно на очках с платформой Snapdragon AR1 Gen 1.
Версия для очков содержит 2 миллиарда параметров и настроена на работу с изображениями и языком. Благодаря этому пользователь сможет в реальном времени спрашивать, что находится перед ним. PrismML получила известность благодаря уменьшению крупных моделей в четыре раза при сохранении почти всей их производительности в стандартных тестах.
Более широкая цель лаборатории — создавать модели с открытыми весами, которые работают на устройствах и эффективнее используют доступные вычислительные ресурсы. PrismML рассматривает такой подход как альтернативу зависимости от закрытых AI-лабораторий и их постоянно растущей потребности в вычислениях. Поддержка чипа Qualcomm приближает эту цель, однако умные очки с PrismML пока не анонсированы.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.