Стартъпи търсят алтернативи на трансформърите в езиковите модели
Трансформърите са в основата на водещите големи езикови модели, откакто изследователи на Google представиха архитектурата през 2017 г. Механизмът им за плътно внимание сравнява токените в даден текст и помага за улавяне на смисъла, но нужните изчисления нарастват бързо с дължината на входа. Това увеличава разходите и затруднява обработката на големи колекции от документи, кодови бази и бележки, създавани от модели за разсъждение.
Няколко стартъпа изпитват различни решения. Базираната в Маями Subquadratic твърди, че моделът ѝ SubQ избира най-важните думи за всеки вход. Manifest AI от Сан Франциско разработва „power retention“, което съхранява обобщение на контекста, и е представила PowerCoder и Brumby. Liquid AI съчетава трансформъри с течни невронни мрежи в по-малки модели за автомобили и Raspberry Pi; според компанията последните ѝ системи достигат показателите на модели, четири пъти по-големи. Базираната в Пало Алто Inception използва дифузия за едновременно генериране на множество токени и заявява, че Mercury 2 е сравним с някои модели GPT-4, но е десет пъти по-бърз. Pathway тества и Dragon Hatchling, който според компанията е решил над 97% от труден тест със судоку.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MIT Tech Review. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.