Infini-AI-Lab пуска Hermit, рамка с отворен код за адаптери на обвивки за AI агенти

Infini-AI-Lab представи Hermit — рамка с отворен код за адаптери на среди за AI агенти. Hermit е рамка от Infini-AI-Lab, която обучава външен „адаптер на средата“, докато моделът и средата на агента остават фиксирани. Първата версия, v0.1.0, беше публикувана на 25 октомври 2026 г. Постдокторантът от CMU Хайджун Джън я обяви в X на 27 октомври. За разработчиците идеята е проста: адаптирайте агенти Codex или Claude Code към нови задачи без дообучаване или разклоняване на средата.

Накратко

Размер: Python рамка. Няма собствени параметри. Apache-2.0, pip install hermit-harness.
Работи на: Офлайн бързият старт не изисква GPU, акаунт за модел или набор от данни. Реалните изпълнения използват всеки API бекенд или локален сървър с vLLM, SGLang или Ollama.
Производителност: Докладвани са подобрения спрямо базови линии без адаптер в OfficeQA, CL-Bench и ServeLearnBench, всички с GLM 5.3 Flash.
Най-добър резултат: MWM адаптерът достига точност 0.795 при изследване на бази данни в CL-Bench спрямо 0.580 за базовата линия с контекст.
Най-слаб резултат: Адаптерът само с промпт постига 0.470 в същата среда, под базовата линия от 0.580.
Извод: Най-доброто: един цикъл на обучение за 5 метода за еволюция на средата. Най-лошото: повечето резултати са от единични изпълнения и са самостоятелно докладвани.

Какво представлява адаптерът на средата?

Адаптерът на средата е обучаема външна среда. Той работи като плъгин с вградена поддръжка за обучение. Адаптерът на модел, например LoRA, адаптира модел. Адаптерът на средата вместо това адаптира съществуващ агент.

Адаптерът може да съдържа инструкции, умения, памет, инструменти, изпълним код и логика за координация на агенти. Той дори може да представлява цял репозиторий. Спецификацията му определя кои части могат да се обучават и как се проверяват актуализациите. Базовият модел и средата никога не се променят.

Екипът посочва 3 причини за този дизайн. Много среди са със затворен код. Редактирането на средите с отворен код може да наруши внимателно настроените взаимодействия между компонентите. Освен това обучаемият адаптер може да се прехвърля между съвместими модели и среди.

Как Hermit обучава адаптер?

Hermit използва цикъл на обучение в стил RL. Trainer изпълнява пакет от задачи чрез действащия агент с текущия адаптер. Judge оценява резултатите. Evolver прочита траекториите и обратната връзка, след което предлага нов адаптер. Trainer го проверява спрямо шаблона и го записва като следващата версия.

Всяка версия на адаптера се намира в git дърво. Можете да инспектирате, върнете назад или внедрите всяка версия. Програмите за обучение могат да работят в пясъчник, което изисква Linux с bubblewrap.

Днес се предлагат пет метода за еволюция: GEPA, SkillOpt, MetaWorld Model (MWM), Harness² и Continual Harness. ACE и ReHarness са отбелязани като предстоящи. Можете също така да напишете собствен Evolver.

Стартиране</button> <button class="btn gh" id="mhx-next">Следваща стъпка</button> <button class="btn gh" id="mhx-reset">Нулиране</button> <span class="ver">Версия на адаптера <b id="mhx-v">V0</b></span> </div> <p class="note">Вградени Evolvers: GEPA, SkillOpt, MetaWorld Model (MWM), Harness², Continual Harness. ACE и ReHarness са отбелязани като предстоящи.</p> </div> <div class="pn" data-i="2"> <p class="lead">Самостоятелно докладвани резултати, всички с <b>GLM 5.3 Flash</b> като действащ модел. Изберете бенчмарк.</p> <div class="seg"> <button class="tab on" data-b="0">OfficeQA</button> <button class="tab" data-b="1">CL-Bench база данни</button> <button class="tab" data-b="2">ServeLearnBench (H)</button> </div> <div class="bars" id="mhx-bars"></div> <p class="note" id="mhx-bnote"></p> </div> <div class="pn" data-i="3"> <p class="lead">Обучете веднъж, след което <b>внедрете</b> адаптера в работно пространство на агент или го експортирайте като собствен плъгин.</p> <div class="term"><span class="p">$</span> pip install hermit-harness <span class="p">$</span> hermit train --config run.yaml <span class="p">$</span> hermit eval --config run.yaml --adapter final <span class="p">$</span> hermit deploy --adapter DIR --workspace WS --host codex <span class="p">$</span> hermit convert --adapter DIR --output OUT --target claude-code <span class="c"># други цели за конвертиране: codex, pi, hermes</span></div> <div class="hosts"> <span class="chip" data-d="Цел за внедряване и цел за експортиране на плъгин.">Codex</span> <span class="chip" data-d="Цел за внедряване и цел за експортиране на плъгин.">Claude Code</span> <span class="chip" data-d="Цел за внедряване и цел за експортиране на плъгин.">Pi</span> <span class="chip" data-d="Цел за експортиране на плъгин.">Hermes</span> </div> <div class="info" id="mhx-dinfo">Бекендове за справка: Fireworks, OpenAI, Anthropic, DeepSeek, vLLM, SGLang, Ollama. Офлайн бързият старт не изисква GPU, акаунт за модел или набор от данни.</div> </div> <div class="ft"><span>Източник: github.com/Infini-AI-Lab/hermit · самостоятелно докладвани данни</span><span class="mtp">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-hermit-x');if(!R)return; function ping(){try{var h=R.offsetHeight+40;parent.postMessage({mtpEmbedHeight:h,height:h,frameHeight:h},'*');}catch(e){}} var tabs=R.querySelectorAll('.tabs .tab'),pns=R.querySelectorAll('.pn'); tabs.forEach(function(t){t.addEventListener('click',function(){var p=+t.getAttribute('data-p');tabs.forEach(function(x){x.classList.remove('on')});t.classList.add('on');pns.forEach(function(x){x.classList.toggle('on',+x.getAttribute('data-i')===p)});if(p===2)drawBars(cur);setTimeout(ping,60);});}); function wire(sel,out){R.querySelectorAll(sel).forEach(function(c){c.addEventListener('click',function(){R.querySelectorAll(sel).forEach(function(x){x.classList.remove('sel')});c.classList.add('sel');document.getElementById(out).textContent=c.textContent+': '+c.getAttribute('data-d');ping();});});} wire('.dg .chip','mhx-info');wire('.hosts .chip','mhx-dinfo'); var steps=R.querySelectorAll('.st'),si=-1,ver=0,timer=null; var msg=['Trainer изпълнява пакет от задачи чрез действащия агент с текущия адаптер.','Вашият judge оценява всеки резултат и записва обратна връзка.','Evolver прочита траекториите и обратната връзка, след което предлага нов адаптер.','Trainer проверява предложението спрямо шаблона на адаптера.','Проверената актуализация се записва като следващата версия на адаптера.']; function go(i){si=i;steps.forEach(function(s,k){s.classList.toggle('on',k===i)});document.getElementById('mhx-step').textContent=msg[i];if(i===4){ver++;document.getElementById('mhx-v').textContent='V'+ver;}} function next(){go((si+1)%5)} document.getElementById('mhx-next').onclick=function(){stop();next()}; document.getElementById('mhx-play').onclick=function(){if(timer){stop();return}this.textContent='❚❚ Пауза';next();timer=setInterval(next,1400)}; function stop(){clearInterval(timer);timer=null;document.getElementById('mhx-play').textContent=' Стартиране'} document.getElementById('mhx-reset').onclick=function(){stop();si=-1;ver=0;steps.forEach(function(s){s.classList.remove('on')});document.getElementById('mhx-v').textContent='V0';document.getElementById('mhx-step').textContent='Натиснете „Стартиране“, за да преминете през една итерация на обучението.'}; var B=[ {max:1,fmt:3,rows:[['Без адаптер',.541],['Първоначално умение',.576],['GEPA',.580],['SkillOpt',.600],['Continual Harness',.634,1],['Harness²',.651,1]],n:'Точност при 172 тестови въпроса. GEPA и SkillOpt са средни стойности от 4 обучения, тествани във фиксирано състояние. Continual Harness и Harness² се обучават, докато преминават еднократно през тестовия набор. Стандартна грешка около 3.7 пункта.'}, {max:1,fmt:3,rows:[['Базова линия без състояние',.400],['Само промпт',.470],['Базова линия с контекст',.580],['MWM',.795,1]],n:'Точност при поток от 40 въпроса върху недокументирана, променяща се SQLite база данни. Средна стойност от 5 реда на потока.'}, {max:100,fmt:1,rows:[['Сляп',4.5],['Само промпт',18.8],['SkillOpt (класация)',22.0],['CH (класация)',28.7],['MWM',45.3,1],['Оракул (с предоставена политика)',89.2]],n:'retail_l3: 624 заявки за обслужване, 537 задържани теста. H = резултатът при тестове, които изискват скритата политика. По едно изпълнение за всеки метод.'}]; var cur=0; function drawBars(k){cur=k;var d=B[k],el=document.getElementById('mhx-bars');el.innerHTML='';d.rows.forEach(function(r){var row=document.createElement('div');row.className='row'+(r[2]?' hl':'');row.innerHTML='<span class="lb">'+r[0]+'</span><span class="tr"><span class="fl" style="display:block"></span></span><span class="v">'+r[1].toFixed(d.fmt)+'</span>';el.appendChild(row);var f=row.querySelector('.fl');setTimeout(function(){f.style.width=(r[1]/d.max*100)+'%'},40);});document.getElementById('mhx-bnote').textContent=d.n;setTimeout(ping,60);} R.querySelectorAll('.seg .tab').forEach(function(b){b.addEventListener('click',function(){R.querySelectorAll('.seg .tab').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(+b.getAttribute('data-b'));});}); drawBars(0); window.addEventListener('load',ping);window.addEventListener('resize',ping);setTimeout(ping,300); })(); </script> </body></html>">

Какви са резултатите от бенчмарковете?

Всички изпълнения по-долу използват GLM 5.3 Flash като действащ модел. Числата са взети от примерните README файлове в репозитория и са самостоятелно докладвани.

OfficeQA (рецепта) задава 172 тестови въпроса за бюлетини на Министерството на финансите на САЩ, оценявани чрез точно съвпадение:

Метод	Точност
Без адаптер	0.541
Първоначално умение	0.576
GEPA	0.580
SkillOpt	0.600
Continual Harness	0.634
Harness²	0.651

GEPA и SkillOpt се обучават върху 50 въпроса и се тестват във фиксирано състояние. Вместо това Continual Harness и Harness² се обучават, докато преминават еднократно през тестовия набор. Екипът отчита подобрение от +7.6 пункта за Harness² спрямо референтното му изпълнение, с 95% интервал от +1.7 до +13.4.

CL-Bench (база данни, покер) тества среди със състояние от статията за Continual Learning Bench. При изследване на бази данни MWM достига точност 0.795. Базовата линия на бенчмарка с контекст постига 0.580. При покер, който може да бъде експлоатиран, MWM печели 3.08 големи блайнда на ръка спрямо 2.51 за обучение в контекст.

ServeLearnBench (рецепта) подава поток от 624 заявки за поддръжка на дребно при скрита, променяща се политика. MWM постига 45.3 при тестовете със скрита политика. Най-добрият обучаем метод в класацията, CH, постига 28.7. Оракулът, на когото е предоставена политиката, постига 89.2.

Как Hermit се сравнява с други оптимизатори на агенти?

Функция	Hermit	GEPA	ACE	Agent Lightning
Какво обучава	Външен адаптер на средата	Всеки текстов параметър (промпти, код)	Контекстен наръчник	Промпти и тегла на модела
Променя теглата на модела	Не	Не	Не е разкрито	Да, чрез RL или SFT
Методи	5 вградени, персонализирани Evolvers	Рефлексивна еволюция, Парето селекция	Генератор, Reflector, Curator	RL, оптимизация на промпти, SFT
Цели за внедряване	Codex, Claude Code, Pi; експортиране на плъгин	DSPy (`dspy.GEPA`)	Не е разкрито	LangChain, OpenAI Agents SDK, AutoGen, CrewAI и други
Лиценз	Apache-2.0	MIT	Apache-2.0	MIT
Ключов резултат	0.795 в CL-Bench база данни (самостоятелно докладвано)	AIME 2025: от 46.6% до 56.6% (GPT-4.1 Mini)	+10.6% в AppWorld	Не е разкрито

Как се инсталира и внедрява?

Инсталирайте от PyPI с pip install hermit-harness или клонирайте репозитория за примерите. CLI поддържа check, train, eval, deploy и convert. Моделите се посочват във формат <backend>/<model id>. Поддържаните бекендове включват Fireworks, OpenAI, Anthropic, DeepSeek, vLLM, SGLang и Ollama.

hermit deploy записва работно пространство за Codex, Claude Code или Pi. hermit convert експортира обучен адаптер като собствен плъгин за Codex, Claude Code, Pi или Hermes. Завършен адаптер за съвместна работа в Lean координира 5 Codex агента, които заедно доказват една теорема.

Ключови изводи

Hermit обучава външен адаптер; моделът и средата остават фиксирани.
Предлагат се 5 метода: GEPA, SkillOpt, MWM, Harness², Continual Harness.
MWM достига 0.795 в CL-Bench база данни спрямо 0.580 при използване на контекст.
Адаптерите могат да се внедряват в Codex, Claude Code и Pi или да се експортират като плъгини.
Резултатите са самостоятелно докладвани, предимно от единични изпълнения, с GLM 5.3 Flash.

Разгледайте GitHub репозитория, страницата на проекта и документацията. Също така, следвайте ни в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! Имате ли Telegram? Вече можете да се присъедините към нас и в Telegram.

Искате да си партнирате с нас за популяризиране на вашия GitHub репозиторий ИЛИ Hugging Face страница ИЛИ продуктово представяне ИЛИ уебинар и т.н.? Свържете се с нас

Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.