Sakhanda Wire
NVDA $152.56 -2.29% MSFT $505.79 -2.36% GOOGL $279.70 -1.42% META $618.14 -1.32% AMZN $256.03 -0.67%
← Към новините

Fly Language Model свързва цялата мрежа на плодова мушица с фиксиран LLM

Fly Language Model (FLM) е публичен чатбот, който свързва запазения конектом MaleCNS v1.0 на плодова мушица с фиксирания модел LiquidAI LFM2.5-1.2B-Instruct. Като резервоар участват всичките 166 700 възела и 25 582 938 насочени ребра. Токенните представяния се подават чрез фиксирани случайни проекции, а графът, основният модел и входно-изходните проекции не се променят. Обучават се само 278 528 параметъра на изходния слой — около 0,0238% от 1 170 340 608 параметъра на основния модел.

При 32 диалога от SmolTalk с 1 236 целеви токена изходният слой с конектома намалява загубата от 1,381995 до 1,359816 nats на токен при три начални стойности. Контролен вариант, който подава същия проектиран вход директно към идентичен изходен слой, се представя малко по-добре и при трите опита — 1,359328. Докладваният интервал от бутстреп анализа не показва специфично предимство на мрежата на мушицата.

При зануляване на ребрата остатъчният сигнал изчезва и резултатът съвпада с този на основния модел, което потвърждава участието на графа. Преименуването на възлите без ново обучение връща резултата близо до изходното ниво. Рекурентното състояние бързо забравя различията, така че графът не добавя дългосрочна памет. Софтуерът с MIT лиценз работи локално с Python 3.12, но материалите за изследването остават частни.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини