Прототип добавляет программирование весов в DSPy
Cmpnd выпустила dspy-wsp — экспериментальный оптимизатор, который переносит программирование в пространстве весов в DSPy. Компонент WeightSpace позволяет большой языковой модели изучать и напрямую редактировать веса меньшей модели, а затем проверять каждое изменение. Метод не использует градиенты, цикл обучения или датасет для дообучения. Пакет распространяется по лицензии MIT и требует DSPy 3.5.
В представленных тестах участвовали открытые модели принятия решений размером от 0.6B до 9B параметров. Один запуск включал до 25 прямых проходов и стоил примерно $5–$10 за вызовы GPT-6-Astra. Сам WeightSpace повысил результат на Typed Decisions на 1.9–16.1 пункта, а вместе с ReAnchor прирост составил 6.5–20.0 пункта. Показатель d1-omni-600M вырос с 50.9% до 69.1%.
Все эксперименты проводились на Mac; для моделей 2B требовалось около 6 ГБ памяти. Запуск занимал от 78 до 167 минут, причём на крупных моделях улучшение было наименьшим. Cmpnd называет пакет весьма экспериментальным. При более строгом критерии из исходной научной работы прирост d1-omni-600M составил только 2.8 пункта.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.