Прототип додає програмування простору ваг до DSPy
Cmpnd випустила dspy-wsp — експериментальний оптимізатор, який переносить програмування простору ваг у DSPy. Компонент WeightSpace дає великій мовній моделі змогу аналізувати й безпосередньо змінювати ваги меншої моделі, а потім перевіряти кожну зміну. Підхід не використовує градієнтів, циклу навчання чи набору даних для донавчання. Пакет має ліцензію MIT і потребує DSPy 3.5.
У заявлених тестах застосовували відкриті моделі ухвалення рішень розміром від 0.6B до 9B параметрів. Один запуск передбачав до 25 прямих проходів і коштував приблизно $5–$10 за виклики GPT-6-Astra. Сам WeightSpace підвищив результат на Typed Decisions на 1.9–16.1 пункта, а разом із ReAnchor приріст становив 6.5–20.0 пункта. Показник d1-omni-600M зріс із 50.9% до 69.1%.
Експерименти проводили на Mac; моделям 2B потрібно було близько 6 ГБ пам’яті. Запуск тривав 78–167 хвилин, а найбільші моделі показали найменше покращення. Cmpnd називає пакет дуже експериментальним. За суворішим правилом з оригінального дослідження приріст d1-omni-600M становив лише 2.8 пункта.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.