Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← Към новините

Стартъпи търсят алтернативи на трансформърите в езиковите модели

Трансформърите са в основата на водещите големи езикови модели, откакто изследователи на Google представиха архитектурата през 2017 г. Механизмът им за плътно внимание сравнява токените в даден текст и помага за улавяне на смисъла, но нужните изчисления нарастват бързо с дължината на входа. Това увеличава разходите и затруднява обработката на големи колекции от документи, кодови бази и бележки, създавани от модели за разсъждение.

Няколко стартъпа изпитват различни решения. Базираната в Маями Subquadratic твърди, че моделът ѝ SubQ избира най-важните думи за всеки вход. Manifest AI от Сан Франциско разработва „power retention“, което съхранява обобщение на контекста, и е представила PowerCoder и Brumby. Liquid AI съчетава трансформъри с течни невронни мрежи в по-малки модели за автомобили и Raspberry Pi; според компанията последните ѝ системи достигат показателите на модели, четири пъти по-големи. Базираната в Пало Алто Inception използва дифузия за едновременно генериране на множество токени и заявява, че Mercury 2 е сравним с някои модели GPT-4, но е десет пъти по-бърз. Pathway тества и Dragon Hatchling, който според компанията е решил над 97% от труден тест със судоку.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MIT Tech Review. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MIT Tech Review на

Прочетете оригинала в MIT Tech Review ↗

Репортажът и изображението принадлежат на MIT Tech Review и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини