Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← Към новините

Прототип пренася програмирането в пространството на теглата към DSPy

Cmpnd представи dspy-wsp — експериментален оптимизатор, който добавя програмиране в пространството на теглата към DSPy. Компонентът WeightSpace позволява на голям езиков модел да анализира и променя директно теглата на по-малък модел, след което да проверява всяка промяна. Подходът не използва градиенти, цикъл на обучение или набор от данни за дообучаване. Пакетът е с MIT лиценз и изисква DSPy 3.5.

В описаните тестове са използвани отворени модели за вземане на решения с размер от 0.6B до 9B параметъра. Един запуск включва до 25 предни изчисления и струва приблизително $5–$10 за извиквания към GPT-6-Astra. Самостоятелно WeightSpace повишава резултатите при Typed Decisions с 1.9 до 16.1 пункта, а с ReAnchor подобрението достига 6.5 до 20.0 пункта. d1-omni-600M се повишава от 50.9% до 69.1%.

Експериментите са проведени на Mac, като моделите 2B използват около 6 GB памет. Един запуск продължава 78–167 минути, а при по-големите модели ефектът е по-слаб. Cmpnd определя пакета като много експериментален. При по-строгото правило от оригиналното изследване подобрението за d1-omni-600M е само 2.8 пункта.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини