Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← К новостям

Исследователи предлагают точнее настраивать отказы языковых моделей

Исследователи Multiverse Computing изучили, как языковые модели могут отклонять вредные запросы, не отказываясь от допустимых вопросов на ту же тему. По мнению авторов, защитные механизмы, классифицирующие широкие категории вроде оружия, мошенничества или самоповреждения, слишком грубы для многих практических сценариев. В политическом контексте фактические вопросы о выборах отличаются от запросов на целевое убеждение или манипуляцию и могут требовать разных ответов.

В работе безопасность описывается как граница между запросами, которым нужно отказать, и запросами, на которые следует ответить. В экспериментах по политическому убеждению использовались пары запросов с общей темой, но разным намерением. Стратегия повторной генерации с постепенно усиливаемым управлением сократила долю отброшенных примеров с 19.88% (8,009) до 0.20% (79), сохранив 40,293 вредных обучающих запроса.

Для Qwen3-8B доля отказов на политические запросы выросла с 9.47% до 84.75%, а средняя доля небезопасных ответов на HarmBench, StrongREJECT и WildJailbreak в наиболее сильной конфигурации снизилась с 26.26% до 0.14%. При этом избыточные отказы на XSTest увеличились с 2.00% до 74.00%. Добавление доброкачественных примеров границы снизило отказы на допустимой стороне отложенных пар с 32.94% до 4.16%; на вредной стороне показатель уменьшился с 91.88% до 87.72%. Авторы считают необходимым одновременно измерять оба направления.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости