Fly Language Model підключила повний конектом мухи до замороженої LLM
Fly Language Model (FLM) — публічний чатбот, який поєднує збережений конектом плодової мухи MaleCNS v1.0 із замороженою моделлю LiquidAI LFM2.5-1.2B-Instruct. У ролі резервуара використовуються всі 166 700 вузлів і 25 582 938 спрямованих ребер. Токенні подання надходять через фіксовані випадкові проєкції, тоді як граф, базова модель і вхідні та вихідні проєкції не навчаються. Оновлюються лише 278 528 параметрів вихідного шару — приблизно 0,0238% від 1 170 340 608 параметрів базової моделі.
На 32 діалогах SmolTalk із 1 236 цільовими токенами варіант із конектомом зменшив втрати з 1,381995 до 1,359816 натів на токен у трьох запусках. Водночас контрольний варіант, який подавав ту саму проєкцію входу безпосередньо до ідентичного вихідного шару, показав трохи кращий результат у кожному запуску — 1,359328. Зазначений бутстреп-інтервал не підтвердив перевагу, специфічну для графа мухи.
Обнулення ребер повністю прибрало залишковий сигнал і повернуло втрати до рівня базової моделі, що підтверджує участь графа. Перепризначення ідентифікаторів вузлів без повторного навчання дало результат, близький до початкового. Рекурентний стан швидко втрачає відмінності, тому конектом не додає довготривалої пам’яті. Код із ліцензією MIT працює локально на Python 3.12, але матеріали дослідження залишаються закритими.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.