Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← К новостям

Прототип добавляет программирование весов в DSPy

Cmpnd выпустила dspy-wsp — экспериментальный оптимизатор, который переносит программирование в пространстве весов в DSPy. Компонент WeightSpace позволяет большой языковой модели изучать и напрямую редактировать веса меньшей модели, а затем проверять каждое изменение. Метод не использует градиенты, цикл обучения или датасет для дообучения. Пакет распространяется по лицензии MIT и требует DSPy 3.5.

В представленных тестах участвовали открытые модели принятия решений размером от 0.6B до 9B параметров. Один запуск включал до 25 прямых проходов и стоил примерно $5–$10 за вызовы GPT-6-Astra. Сам WeightSpace повысил результат на Typed Decisions на 1.9–16.1 пункта, а вместе с ReAnchor прирост составил 6.5–20.0 пункта. Показатель d1-omni-600M вырос с 50.9% до 69.1%.

Все эксперименты проводились на Mac; для моделей 2B требовалось около 6 ГБ памяти. Запуск занимал от 78 до 167 минут, причём на крупных моделях улучшение было наименьшим. Cmpnd называет пакет весьма экспериментальным. При более строгом критерии из исходной научной работы прирост d1-omni-600M составил только 2.8 пункта.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости