Дослідники пропонують точніше налаштовувати відмови мовних моделей
Дослідники Multiverse Computing вивчили, як мовні моделі можуть відхиляти шкідливі запити, не відмовляючись від дозволених питань на ту саму тему. На думку авторів, захисні механізми, що класифікують широкі категорії на кшталт зброї, шахрайства чи самопошкодження, надто грубі для багатьох практичних сценаріїв. У політичному контексті фактичні запитання про вибори відрізняються від запитів на цільове переконання або маніпуляцію і можуть потребувати різних відповідей.
У роботі безпеку описано як межу між запитами, яким слід відмовити, і запитами, на які потрібно відповісти. В експериментах із політичним переконанням використовували пари запитів зі спільною темою, але різним наміром. Стратегія повторної генерації з поступовим посиленням керування скоротила частку відкинутих прикладів із 19.88% (8,009) до 0.20% (79), зберігши 40,293 шкідливі навчальні запити.
Для Qwen3-8B частка відмов на політичні запити зросла з 9.47% до 84.75%, а середня частка небезпечних відповідей у HarmBench, StrongREJECT і WildJailbreak у найсильнішій конфігурації зменшилася з 26.26% до 0.14%. Водночас надмірні відмови в XSTest зросли з 2.00% до 74.00%. Додавання безпечних прикладів межі знизило відмови на дозволеному боці відкладених пар із 32.94% до 4.16%, тоді як на шкідливому боці показник зменшився з 91.88% до 87.72%. Автори наголошують, що обидва показники потрібно оцінювати разом.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.