Contrastive-LM випустила відкриту модель CLM-8B для оцінювання дій
Contrastive-LM представила CLM-8B, яку називають першою відкритою моделлю класу Contrastive Language Models. Вона не генерує текст, а оцінює набір можливих дій щодо поточного стану та повертає ймовірності. Система розрахована на інтерфейс, подібний до Jev — пропрієтарної системи System One від TypeSafe AI. Репозиторій CLM-8B надає сумісний із TypeSafe API з типами запитів Noul, Choice і Score.
CLM-8B використовує заморожені базові моделі Qwen3-8B і дві навчувані проєкційні голови по 20M параметрів. Двонапрямлена ціль InfoNCE зближує подання стану з фактично обраною дією та віддаляє його від інших варіантів. Під час роботи скалярні добутки векторів перетворюються на розподіл імовірностей за допомогою softmax. На RTX 4090 за наявності трьох дій повторне використання векторів зменшує затримку для повторно відвіданих станів із 1,7 до 0,6 ms.
За даними картки моделі, приблизно з 1000 кандидатами CLM-8B працює у 13 разів швидше за Jev. У тестах без донавчання модель зрівнялася з Jev у T-Rex і Super Mario, але поступилася під час виклику інструментів і у WikiRacing. Донавчені голови досягли 81,6% на підмножині DeepSWE та 87,6% на підмножині Terminal-Bench 2.1. Голова з ліцензією Apache-2.0 важить 75 MB і запускається на одному NVIDIA GPU під Linux.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.