Стартапи шукають альтернативи трансформерам у мовних моделях
Трансформери є основою провідних великих мовних моделей відтоді, як дослідники Google представили цю архітектуру 2017 року. Механізм щільної уваги порівнює токени в тексті й допомагає передавати його значення, але кількість обчислень швидко зростає разом із довжиною вхідних даних. Це збільшує витрати та ускладнює роботу з великими бібліотеками документів, кодовими базами й нотатками, які створюють моделі міркування.
Кілька стартапів випробовують інші підходи. Компанія Subquadratic із Маямі заявляє, що її модель SubQ за допомогою розрідженої уваги визначає найважливіші слова для кожного фрагмента. Manifest AI із Сан-Франциско розробляє power retention — механізм, що зберігає змінний стислий опис контексту; компанія також випустила PowerCoder і Brumby. Liquid AI поєднує трансформери з рідинними нейронними мережами та створює компактні моделі для автомобілів і комп’ютерів Raspberry Pi. За даними компанії, її нові моделі відповідають продуктивності систем, що вчетверо більші. Стартап Inception із Пало-Альто застосовує дифузію для одночасного генерування кількох токенів і стверджує, що Mercury 2 порівнянний із деякими моделями GPT-4, але працює вдесятеро швидше. Pathway також тестує Dragon Hatchling, який, за заявою компанії, розв’язав понад 97% складного набору судоку.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MIT Tech Review. Факти, цитати та повний контекст — в оригінальній статті нижче.