Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← До новин

Прототип додає програмування простору ваг до DSPy

Cmpnd випустила dspy-wsp — експериментальний оптимізатор, який переносить програмування простору ваг у DSPy. Компонент WeightSpace дає великій мовній моделі змогу аналізувати й безпосередньо змінювати ваги меншої моделі, а потім перевіряти кожну зміну. Підхід не використовує градієнтів, циклу навчання чи набору даних для донавчання. Пакет має ліцензію MIT і потребує DSPy 3.5.

У заявлених тестах застосовували відкриті моделі ухвалення рішень розміром від 0.6B до 9B параметрів. Один запуск передбачав до 25 прямих проходів і коштував приблизно $5–$10 за виклики GPT-6-Astra. Сам WeightSpace підвищив результат на Typed Decisions на 1.9–16.1 пункта, а разом із ReAnchor приріст становив 6.5–20.0 пункта. Показник d1-omni-600M зріс із 50.9% до 69.1%.

Експерименти проводили на Mac; моделям 2B потрібно було близько 6 ГБ пам’яті. Запуск тривав 78–167 хвилин, а найбільші моделі показали найменше покращення. Cmpnd називає пакет дуже експериментальним. За суворішим правилом з оригінального дослідження приріст d1-omni-600M становив лише 2.8 пункта.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини