Contrastive-LM выпустила открытую модель CLM-8B для оценки действий
Contrastive-LM представила CLM-8B, названную первой открытой моделью класса Contrastive Language Models. В отличие от генеративных систем, она не создает текст, а сопоставляет набор возможных действий с текущим состоянием и выдает вероятности. Модель рассчитана на интерфейс, аналогичный Jev — проприетарной системе System One компании TypeSafe AI. Репозиторий CLM-8B предоставляет совместимый с TypeSafe API с типами запросов Noul, Choice и Score.
В основе CLM-8B лежат замороженные Qwen3-8B и две обучаемые проекционные головы по 20M параметров. Двунаправленная целевая функция InfoNCE сближает представление состояния с фактически выбранным действием и отдаляет его от остальных вариантов. При работе модели скалярные произведения векторов преобразуются в распределение вероятностей с помощью softmax. На RTX 4090 при трех действиях повторно используемые векторы сокращают задержку для возвращающихся состояний с 1,7 до 0,6 ms.
В карточке модели сообщается, что при примерно 1000 кандидатах CLM-8B работает в 13 раз быстрее Jev. В тестах без дообучения модель сравнялась с Jev в T-Rex и Super Mario, но уступила при вызове инструментов и в WikiRacing. Дообученные головы показали 81,6% на подмножестве DeepSWE и 87,6% на подмножестве Terminal-Bench 2.1. Голова Apache-2.0 весит 75 MB и запускается на одном NVIDIA GPU под Linux.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.