Sakhanda Wire
NVDA $152.58 -2.28% MSFT $506.11 -2.29% GOOGL $279.81 -1.38% META $619.07 -1.17% AMZN $256.55 -0.47%
← К новостям

Contrastive-LM выпустила открытую модель CLM-8B для оценки действий

Contrastive-LM представила CLM-8B, названную первой открытой моделью класса Contrastive Language Models. В отличие от генеративных систем, она не создает текст, а сопоставляет набор возможных действий с текущим состоянием и выдает вероятности. Модель рассчитана на интерфейс, аналогичный Jev — проприетарной системе System One компании TypeSafe AI. Репозиторий CLM-8B предоставляет совместимый с TypeSafe API с типами запросов Noul, Choice и Score.

В основе CLM-8B лежат замороженные Qwen3-8B и две обучаемые проекционные головы по 20M параметров. Двунаправленная целевая функция InfoNCE сближает представление состояния с фактически выбранным действием и отдаляет его от остальных вариантов. При работе модели скалярные произведения векторов преобразуются в распределение вероятностей с помощью softmax. На RTX 4090 при трех действиях повторно используемые векторы сокращают задержку для возвращающихся состояний с 1,7 до 0,6 ms.

В карточке модели сообщается, что при примерно 1000 кандидатах CLM-8B работает в 13 раз быстрее Jev. В тестах без дообучения модель сравнялась с Jev в T-Rex и Super Mario, но уступила при вызове инструментов и в WikiRacing. Дообученные головы показали 81,6% на подмножестве DeepSWE и 87,6% на подмножестве Terminal-Bench 2.1. Голова Apache-2.0 весит 75 MB и запускается на одном NVIDIA GPU под Linux.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости