Як моделі ухвалення рішень на основі ШІ можуть змінити модерацію контенту

У міру поширення моделей ухвалення рішень у галузі компанія Musubi запропонувала нову ідею щодо їхнього застосування: модерацію контенту. У вівторок Musubi представила легку модель ухвалення рішень для модерації в реальному часі, яку назвали PolicyLM-1.7B і випустили з відкритими вагами.

Ідея полягає в тому, щоб узяти політику щодо контенту, написану звичайною англійською мовою, і застосувати її до повідомлень менш ніж за 50 мілісекунд. Модель Musubi розроблена так, щоб бути подібною за вартістю та швидкістю до систем класифікації на основі ШІ, які забезпечують модерацію на більшості соціальних платформ, але завдяки гнучкості сучасної великої мовної моделі вона може застосовувати складні політики без спеціального навчання. Що ще важливіше, моделі не знадобиться повторне навчання, коли політика зміниться, тож фахівці, які формують політику, зможуть ітеративно вдосконалювати її стільки, скільки потрібно.

На думку співзасновника Musubi та директора з питань ШІ Філіпа Янковича, це дає менеджерам платформ змогу проактивно маркувати контент.

«Команди, що відповідають за продукт, просто хочуть краще розуміти, що відбувається на їхній платформі, особливо з огляду на експоненційне зростання обсягу контенту, — каже Янкович. — Можливість маркувати все це у надзвичайно масштабований і налаштовуваний спосіб дуже корисна».

Моделі ухвалення рішень стали гарячою темою у світі ШІ після випуску у вересні Jev від Typesafe AI, за яким невдовзі з’явилися конкуруючі моделі ухвалення рішень від OpenAI та Amazon. Замість генерування тексту модель ухвалення рішень видає ймовірності результатів, хоча в цьому випадку модель формує бінарне судження: контент належить до категорії або ні. Обмежуючи вихідні дані моделі набором заздалегідь визначених варіантів, моделі ухвалення рішень можуть працювати швидше й дешевше за великі мовні моделі, водночас зберігаючи гнучкість трансформерної архітектури.

Одним із перших варіантів застосування є приборкання неналежної поведінки агентів ШІ — тож цілком природно застосувати ту саму технологію до неналежної поведінки людей.

Примітно, що Янкович каже: його інтерес до моделей ухвалення рішень виник ще до появи Jev — він пов’язує його з проєктом GLiNER 2024 року (Generalist Model for Named Entity Recognition — універсальна модель розпізнавання іменованих сутностей), у якому застосовували багато тих самих методів.

Втім, Musubi не остерігається такого порівняння. Навпаки, компанія прагне скористатися новим інтересом до моделей ухвалення рішень, щоб привернути увагу до модерації контенту. «Якщо Jev привернув вашу увагу, PolicyLM-1.7B — це така сама модель, спеціально навчена для модерації контенту, яку ви можете запускати самостійно», — йдеться в анонсі продукту.