Sakhanda Wire
NVDA $152.56 -2.29% MSFT $505.79 -2.36% GOOGL $279.70 -1.42% META $618.14 -1.32% AMZN $256.03 -0.67%
← К новостям

Fly Language Model подключила полный коннектом мухи к замороженной LLM

Fly Language Model (FLM) — публичный чат-бот, соединяющий сохранённый коннектом плодовой мушки MaleCNS v1.0 с замороженной моделью LiquidAI LFM2.5-1.2B-Instruct. В качестве резервуара используются все 166 700 узлов и 25 582 938 направленных рёбер. Токенные представления поступают через фиксированные случайные проекции; граф, основная модель и входные и выходные проекции не обучаются. Обновляются только 278 528 параметров выходного слоя — около 0,0238% от 1 170 340 608 параметров основной модели.

На 32 диалогах SmolTalk, включавших 1 236 целевых токенов, вариант с коннектомом снизил потери с 1,381995 до 1,359816 натов на токен в трёх запусках. При этом контрольная версия, подававшая ту же проекцию входа напрямую в такой же выходной слой, показала немного лучший результат во всех трёх запусках: 1,359328. Сообщённый бутстреп-интервал не подтверждает преимущество, специфичное для графа мухи.

При обнулении рёбер остаточный сигнал исчезал, а потери возвращались к уровню основной модели, что подтверждает участие графа. Переназначение идентификаторов узлов без повторного обучения возвращало результат почти к исходному уровню. Рекуррентное состояние быстро сглаживает различия, поэтому коннектом не добавляет долгосрочную память. Код под лицензией MIT запускается локально на Python 3.12, однако материалы исследования закрыты, и независимая воспроизводимость пока невозможна.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости