Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← К новостям

Стартапы ищут альтернативы трансформерам в языковых моделях

Трансформеры лежат в основе крупнейших языковых моделей с 2017 года, когда исследователи Google представили эту архитектуру. Механизм плотного внимания сравнивает токены внутри текста и помогает передавать его смысл, однако объем вычислений быстро растет вместе с длиной входных данных. Это повышает затраты и создает трудности при обработке больших библиотек документов, кодовых баз и заметок, которые формируют модели рассуждений.

Несколько стартапов предлагают иные подходы. Компания Subquadratic из Майами утверждает, что ее модель SubQ выбирает наиболее важные слова для каждого фрагмента текста, используя разреженное внимание. Сан-францисская Manifest AI разрабатывает power retention — механизм, сохраняющий скользящее резюме контекста; компания также выпустила PowerCoder и Brumby. Liquid AI объединяет трансформеры с жидкостными нейросетями и создает небольшие модели для автомобилей и компьютеров Raspberry Pi. По словам компании, ее последние модели сопоставимы по результатам с системами, в четыре раза более крупными. Стартап Inception из Пало-Альто применяет диффузию для одновременной генерации нескольких токенов и заявляет, что Mercury 2 сравним с некоторыми моделями GPT-4, но работает в десять раз быстрее. Pathway, в свою очередь, тестирует Dragon Hatchling, решивший, по данным компании, более 97% сложного набора судоку.

Текст подготовлен ИИ Sakhanda Wire по материалу MIT Tech Review. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MIT Tech Review

Читать оригинал на MIT Tech Review ↗

Репортаж и изображение принадлежат MIT Tech Review и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости