Прототип пренася програмирането в пространството на теглата към DSPy
Cmpnd представи dspy-wsp — експериментален оптимизатор, който добавя програмиране в пространството на теглата към DSPy. Компонентът WeightSpace позволява на голям езиков модел да анализира и променя директно теглата на по-малък модел, след което да проверява всяка промяна. Подходът не използва градиенти, цикъл на обучение или набор от данни за дообучаване. Пакетът е с MIT лиценз и изисква DSPy 3.5.
В описаните тестове са използвани отворени модели за вземане на решения с размер от 0.6B до 9B параметъра. Един запуск включва до 25 предни изчисления и струва приблизително $5–$10 за извиквания към GPT-6-Astra. Самостоятелно WeightSpace повишава резултатите при Typed Decisions с 1.9 до 16.1 пункта, а с ReAnchor подобрението достига 6.5 до 20.0 пункта. d1-omni-600M се повишава от 50.9% до 69.1%.
Експериментите са проведени на Mac, като моделите 2B използват около 6 GB памет. Един запуск продължава 78–167 минути, а при по-големите модели ефектът е по-слаб. Cmpnd определя пакета като много експериментален. При по-строгото правило от оригиналното изследване подобрението за d1-omni-600M е само 2.8 пункта.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.