Fly Language Model подключила полный коннектом мухи к замороженной LLM
Fly Language Model (FLM) — публичный чат-бот, соединяющий сохранённый коннектом плодовой мушки MaleCNS v1.0 с замороженной моделью LiquidAI LFM2.5-1.2B-Instruct. В качестве резервуара используются все 166 700 узлов и 25 582 938 направленных рёбер. Токенные представления поступают через фиксированные случайные проекции; граф, основная модель и входные и выходные проекции не обучаются. Обновляются только 278 528 параметров выходного слоя — около 0,0238% от 1 170 340 608 параметров основной модели.
На 32 диалогах SmolTalk, включавших 1 236 целевых токенов, вариант с коннектомом снизил потери с 1,381995 до 1,359816 натов на токен в трёх запусках. При этом контрольная версия, подававшая ту же проекцию входа напрямую в такой же выходной слой, показала немного лучший результат во всех трёх запусках: 1,359328. Сообщённый бутстреп-интервал не подтверждает преимущество, специфичное для графа мухи.
При обнулении рёбер остаточный сигнал исчезал, а потери возвращались к уровню основной модели, что подтверждает участие графа. Переназначение идентификаторов узлов без повторного обучения возвращало результат почти к исходному уровню. Рекуррентное состояние быстро сглаживает различия, поэтому коннектом не добавляет долгосрочную память. Код под лицензией MIT запускается локально на Python 3.12, однако материалы исследования закрыты, и независимая воспроизводимость пока невозможна.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.