Как модели принятия решений на основе ИИ могут изменить модерацию контента

По мере того как модели принятия решений распространяются по всей отрасли, компания Musubi предложила новую идею их применения: модерацию контента. Во вторник Musubi объявила о создании компактной модели принятия решений для модерации в реальном времени, получившей название PolicyLM-1.7B и выпущенной с открытыми весами.

Идея заключается в том, чтобы брать контентную политику, написанную простым английским языком, и применять её к сообщениям менее чем за 50 миллисекунд. Модель Musubi разработана так, чтобы по стоимости и скорости быть сопоставимой с системами ИИ-классификации, которые обеспечивают модерацию на большинстве социальных платформ, — но благодаря гибкости современной большой языковой модели она может применять сложные правила без специального обучения. Что ещё важнее, при изменении политики модели не потребуется новое обучение, что позволит ответственным за формирование правил постоянно вносить необходимые изменения.

По словам сооснователя и директора по ИИ Musubi Филипа Янковича, это даёт администраторам платформ возможность заранее присваивать контенту метки.

«Команды, отвечающие за продукт, просто хотят лучше понимать, что происходит на их платформе, особенно с учётом экспоненциального роста объёма контента, — говорит Янкович. — Возможность маркировать всё это масштабируемым и настраиваемым способом чрезвычайно полезна».

Модели принятия решений стали одной из главных тем в мире ИИ после выхода в сентябре Jev от Typesafe AI, за которым вскоре последовали конкурирующие модели принятия решений от OpenAI и Amazon. Вместо текста модель принятия решений выдаёт вероятности различных исходов, хотя в данном случае модель формирует бинарное суждение: относится ли контент к данной категории или нет. Ограничивая вывод модели набором заранее определённых вариантов, модели принятия решений могут работать быстрее и дешевле больших языковых моделей, сохраняя при этом гибкость трансформерной архитектуры.

Один из первых вариантов применения — ограничение ненадлежащего поведения ИИ-агентов, поэтому вполне естественно использовать ту же технологию и для борьбы с ненадлежащим поведением людей.

Примечательно, что, по словам Янковича, его интерес к моделям принятия решений возник ещё до появления Jev: он связывает его с проектом GLiNER 2024 года (Generalist Model for Named Entity Recognition — универсальная модель для распознавания именованных сущностей), в котором применялись многие из тех же методов.

Тем не менее Musubi не опасается такого сравнения. Если уж на то пошло, компания стремится воспользоваться новым интересом к моделям принятия решений, чтобы привлечь внимание к модерации контента. «Если Jev привлёк ваше внимание, PolicyLM-1.7B — это такая же модель, специально обученная для модерации контента, которую вы можете запускать самостоятельно», — говорится в анонсе продукта.