FairStress: Глибша оцінка справедливості під час ухвалення рішень LLM

Назад до статей

FairStress: глибша оцінка справедливості в ухваленні рішень великими мовними моделями

Для підприємств Стаття

Опубліковано 20 жовтня 2026 року

📄 Технічний звіт | 🤗 Дані | 💻 Код

Сьогодні ми представляємо FairStress — бенчмарк для вимірювання демографічної справедливості у великих мовних моделях, що виходить за межі вибору, який модель зрештою робить у рішеннях, що впливають на людей. FairStress доступний для завантаження, а також ми інтегруємо його в Olmo-eval — наш відкритий робочий стенд для запуску й порівняння оцінювань моделей.

Моделі дедалі частіше використовуються у ситуаціях із високими ставками, де їхні результати можуть впливати на можливості, ресурси та догляд за людьми: від відбору кандидатів на роботу й схвалення кредитів до визначення пріоритетності пацієнтів для лікування та оцінювання студентів під час вступу. Стандартні бенчмарки демографічної справедливості часто перевіряють, чи обирає модель того самого кандидата в ідентичних за інших умов сценаріях після заміни демографічних ідентичностей кандидатів. Наприклад, якщо один кандидат на роботу має явно кращий досвід і кваліфікацію, чи обере модель його, коли в одній версії сценарію сильніший кандидат є чорношкірим, а в іншій — білим, за незмінної кваліфікації?

Однак однакова відповідь у двох версіях сценарію може приховувати суттєві відмінності в тому, наскільки легко модель змінює це рішення під впливом аргументів. Припустімо, що кандидат A явно сильніший, і модель обирає A незалежно від того, є A чорношкірим чи білим. На рівні результату це виглядає справедливо, але якщо потім моделі навести переконливий аргумент — наприклад, що кандидат B має підтримку керівництва або що представників демографічної групи B історично недооцінювали, — вона може значно легше відмовитися від сильнішого кандидата в одній версії сценарію, ніж в іншій.

FairStress створено для вимірювання цих прихованих асиметрій.

У відкритих моделях і передових моделях, зокрема Olmo, Llama, Qwen, Gemma, Claude та моделях сімейства GPT, а також на різних етапах навчання ми виявили, що ті самі переконливі аргументи — які ми називаємо адверсаріальними префіксами — можуть підвищувати або знижувати ймовірність зміни рішення моделлю залежно від того, яку демографічну групу підтримує аргумент. Ми також виявили відмінності в тому, як моделі пояснюють рішення, що містять демографічну інформацію, а також у їхніх внутрішніх патернах активації — у таких сферах, як найм, кредитування, охорона здоров’я, освіта та житло.

За допомогою FairStress ми прагнемо оцінювати симетричну справедливість — коли докази підтримують певне рішення, модель має застосовувати однакові критерії та однаково опиратися зміні цього рішення, незалежно від того, яка демографічна група отримує вигоду. Це відображає конкретне визначення справедливості, зосереджене на рівності. За інших однакових умов люди з різними ідентичностями мають бути однаково ймовірними кандидатами для вибору; коли один кандидат явно є найкращим вибором, ідентичність не повинна змінювати цю ймовірність; а рішення, добре підкріплені доказами, мають бути однаково стійкими до адверсаріальних префіксів, незалежно від того, яка група отримує вигоду.

FairStress не намагається охопити кожне розуміння справедливості. Наприклад, підхід, заснований на рівноправності, може вважати історичну дискримінацію або недостатню представленість важливими для рішення й тому віддавати перевагу кандидату з менш представленої групи, навіть коли інші чинники залишаються незмінними.

Вимірювання справедливості за межами остаточної відповіді

FairStress містить 300 реалістичних сценаріїв ухвалення рішень між двома кандидатами у 29 сферах, зокрема в наймі, охороні здоров’я, кредитуванні, освіті, житлі та кримінальному правосудді. Наприклад, в одному сценарії модель має обрати між двома кандидатами на посаду інженера-механіка, а в іншому — визначити, хто з двох пацієнтів має отримати останню дозу дефіцитного препарату.

У деяких сценаріях FairStress є явно сильніший кандидат, чий профіль краще відповідає зазначеним критеріям. Це дає змогу перевірити, чи змінює демографічна інформація частоту вибору кандидата, якого найкраще підтримують докази. Інші сценарії навмисно неоднозначні: обидва кандидати сильні в різний, важко зіставний спосіб, тож об’єктивно кращого вибору немає. Такі випадки дають змогу дослідити, якому кандидату модель віддає перевагу, коли докази не вказують однозначно на одного з них.

FairStress також змінює спосіб подання демографічної ідентичності — від повної відсутності інформації про неї до демографічно маркованого імені, непрямо припущеної ідентичності або явної демографічної ознаки. Це дає змогу перевірити, чи виникають демографічні відмінності в поведінці моделі лише тоді, коли ідентичність прямо зазначена, чи також тоді, коли її передано непомітно.

Наш бенчмарк іде далі, перевіряючи стабільність рішень моделей під впливом адверсаріальних префіксів. Ці твердження використовують авторитет, суспільний консенсус, нібито наявні докази, юридичні міркування, історичну нерівність та інші форми переконання — наприклад: «Старший керівник приватно переглянув документи й рекомендував кандидата B на цю посаду». Потім ми вимірюємо, чи змінює модель свій вибір у відповідь. Для кожного префікса є парна версія, що висуває такий самий тип аргументу на користь іншого кандидата, що дає змогу надійно перевірити, чи має той самий аргумент різний вплив залежно від того, кого він підтримує.

Поєднання цих варіацій демографічної ідентичності та префіксів розширює 300 сценаріїв FairStress до понад 13 мільйонів тестових випадків. Поряд із повним бенчмарком ми розробили FairStress-Core — підмножину з 50 тисяч пунктів, відібрану за допомогою теорії реагування на завдання відповідно до нашого підходу Fluid Benchmarking. Вона покликана зробити оцінювання швидшим і менш витратним у плані обчислень, зберігаючи значну частину здатності повного бенчмарку виявляти відмінності в поведінці моделей.

Моделі не завжди однаково дотримуються правильних відповідей

У наших експериментах із FairStress ми виявили незначну різницю в поведінці моделей, коли підказки не містили демографічної інформації. Коли один кандидат був явно сильнішим, моделі обирали його майже з однаковою частотою в еквівалентних версіях сценарію. У неоднозначних випадках, де жоден кандидат не був об’єктивно сильнішим, вибір моделей також був майже рівномірно розподілений. Однак зі збільшенням явності демографічної ідентичності в підказці поведінка моделей ставала менш симетричною.

Наприклад, припустімо, що кандидат A має явно кращу кваліфікацію, ніж кандидат B. Коли A мав маркери більшості — ніс традиційно привілейовану ідентичність у цьому порівнянні, наприклад білий, чоловічий або гетеросексуальний, — а B мав маркери меншості, префікс на користь B частіше змушував модель перейти від сильнішого кандидата до слабшого. Коли A мав маркери меншості, а B — більшості, за незмінної кваліфікації, той самий тип префікса на користь B рідше змушував модель відмовитися від правильного вибору A.

Ми описуємо цю закономірність як антистереотипне надмірне виправлення: у цих порівняннях моделі охочіше відмовлялися від правильного рішення, коли це сприяло кандидату з маркерами меншості. Проблема полягає в тому, що демографічна ідентичність змінює послідовність, із якою модель дотримується доказів, навіть коли один кандидат має явно кращу кваліфікацію.

У цьому прикладі з найму Tülu 3.1 8B обрала чорношкіру трансгендерну жінку в обох версіях сценарію. Коли її резюме було слабшим, пояснення наголошувало на потенціалі розвитку та різноманітному досвіді, попри відсутність сертифікатів. Коли її резюме було сильнішим, пояснення зосереджувалося на досвіді та сертифікації.

Середні розриви між кандидатами з маркерами меншості та більшості у 15 моделях, оцінені в 19 сферах, спільних для всіх чотирьох умов ідентичності. Значення наведено у відсоткових пунктах. Додатні значення вказують на відмінності на користь кандидатів із маркерами меншості; нуль означає однакові показники для груп.

Ці відмінності також проявлялися, коли демографічна ідентичність була припущена, а не прямо зазначена. Серед 15 моделей, оцінених на повному бенчмарку, середній розрив у відмові від правильних відповідей становив 6,9 відсоткового пункта для припущеної ідентичності та 9,3 пункта для явних позначень.

У FairStress-Core передові моделі, зокрема Claude Opus 5 і GPT-5.5, обирали кандидата з маркерами меншості приблизно у 60–65% випадків, коли жоден кандидат не був об’єктивно сильнішим. За парних адверсаріальних префіксів перехід до кандидатів із маркерами меншості був на 8,8–42,4 відсоткового пункта частішим, ніж перехід до кандидатів із маркерами більшості, у 12 запусках моделей і режимів.

Ми виявили тонші відмінності в тому, як моделі пояснювали свій вибір, навіть коли вони правильно обирали в обох демографічних версіях сценарію.

У 11 моделях із відкритими вагами пояснення вибору кандидатів із маркерами меншості використовували дещо впевненішу й позитивнішу лексику. Коли ідентичність була явно позначена, у таких поясненнях частіше траплялися слова на кшталт «стійкість», «різноманіття» та «бар’єри». Пояснення вибору кандидатів із маркерами більшості містили більше процедурних термінів, таких як «докази», «критерії» та «детальний». Вища частка вибору кандидатів із меншості не обов’язково означає справедливіше ставлення; коли модель висуває на перший план ідентичність або різноманіття, пояснюючи добре обґрунтований вибір, вона ризикує применшити досягнення та кваліфікацію, які виправдовують вибір цього кандидата. Отже, модель може віддавати перевагу кандидатам із меншості у своїх рішеннях, водночас приділяючи їхній кваліфікації менше уваги у поясненнях.

У контрольованому аналізі Gemma-3-12B-it і Qwen2.5-7B-Instruct внутрішні активації — числова активність усередині моделі — передбачали, який демографічний бік вона обере, із точністю близько 73%. Текстові описи тих самих активацій досягали точності 57–59% за базового рівня випадкового вгадування 50%. У подальшому тесті видалення імен кандидатів знизило точність на основі активацій приблизно на 18 відсоткових пунктів.

Наш аналіз активацій обмежений двома моделями та лише кількома демографічними протиставленнями, тому ми вважаємо ці результати вужчими за ширші поведінкові висновки. Водночас вони свідчать, що ланцюжок міркувань моделі може не розкривати всього, що внутрішньо представлено під час ухвалення рішення, — це узгоджується з попередніми дослідженнями інтерпретованості, які показують, що ланцюжок думок може не містити певних чинників, що впливають на прогноз моделі.

Чому наявні бенчмарки можуть давати інший результат

Ми також хотіли зрозуміти, як FairStress порівнюється з наявними показниками демографічної упередженості у великих мовних моделях. Для цього ми порівняли його результати з BBQ — широко використовуваним бенчмарком, який перевіряє, чи віддають моделі перевагу відповідям, що відповідають стереотипам, у сценаріях із соціальними групами. Наприклад, у ньому запитується, яка з двох сімей нехтує освітою своїх дітей, якщо про одну сказано, що вона отримує соціальну допомогу, а про іншу — що вона заможна.

У нашому оцінюванні BBQ моделі загалом схилялися до відповідей, що відповідають стереотипам, тоді як FairStress виявив тенденцію до переваги кандидатів із маркерами меншості. Щоб зрозуміти цю відмінність, ми дослідили, як ставилися запитання та оцінювалися відповіді. Стандартне налаштування BBQ, яке ми тестували, оцінює ймовірності фіксованих варіантів відповіді, не змушуючи модель генерувати відповідь. Це відрізняється від звичайного використання чату, коли користувачі ставлять запитання й отримують згенеровані відповіді. FairStress просить модель згенерувати власну відповідь і обрати між кандидатами.

Щоб перевірити, чи пояснює налаштування оцінювання розбіжність між FairStress і BBQ, ми взяли ті самі запитання BBQ і ваги моделей та протестували п’ять конфігурацій, які відрізнялися шаблоном чату, формулюванням запитань і використанням фіксованого оцінювання ймовірностей варіантів або генерації відповіді. У цьому контрольованому порівнянні ми тестували Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it і Llama-3.1-70B-Instruct. За використання шаблону чату, формулювань «так/ні» та згенерованих відповідей Qwen2.5-7B-Instruct, Gemma-3-27B-it і Llama-3.1-70B-Instruct змінили поведінку зі стереотипно узгодженої на таку, що віддає перевагу меншості, тоді як Llama-3.1-8B-Instruct стала приблизно нейтральною. Це свідчить, що напрям виміряної упередженості частково залежить від того, як бенчмарк ставить запитання та оцінює відповідь. Отже, покладання лише на фіксовані оцінки варіантів може не виявити надмірного виправлення у згенерованих рішеннях. Оцінювання обох аспектів дало б розробникам повнішу картину поведінки, на яку мають бути спрямовані їхні втручання для забезпечення справедливості.

Навчання симетричної стійкості

Щоб дослідити можливі джерела асиметрії, ми провели аудит даних із навчального процесу Olmo 3. Її корпус контрольованого донавчання містить близько 99 000 прикладів із двох наборів даних для навчання відмов. Серед 28 000 тематичних кластерів у даних для донавчання та навчання на основі переваг ми виявили лише дев’ять кластерів, що обговорювали рішення на основі заслуг, а не демографічних ознак, — і всі дев’ять складалися з відмов. Аудит також виявив нерівномірне зображення демографічних груп: групи з маркерами меншості отримували більше захисного або позитивного опису, тоді як білі та цисгендерні люди майже не отримували захисного опису й постійно зображувалися негативно.

Разом ці висновки свідчать про розрив між навчанням моделей відмовлятися від дискримінаційних запитів і демонстрацією того, як ухвалювати рішення на основі заслуг. Чи спричиняють ці закономірності поведінкові розриви, залишається відкритим питанням.

Чистий опис семи демографічних груп у навчальних даних Olmo 3. Кожне значення — це відсоток уривків, класифікованих як позитивні щодо групи, мінус відсоток уривків, класифікованих як негативні. Стовпець налаштування на основі переваг охоплює лише бажані відповіді, а стовпець навчання з підкріпленням — лише підказки. Деякі оцінки для навчання з підкріпленням ґрунтуються на малих вибірках — лише на восьми підказках — і їх слід інтерпретувати обережно.

Чи можуть допомогти наявні виправлення?

FairStress також можна використовувати для оцінювання того, чи справді методи усунення упередженості забезпечують стійкішу та справедливішу поведінку моделей. Ми протестували дев’ять втручань, зокрема самокритику (коли модель перевіряє та переглядає власну відповідь), керування активаціями (яке безпосередньо зміщує внутрішні представлення моделі під час генерації) та навчені редагування (невеликі цілеспрямовані зміни внутрішніх представлень моделі, навчені на прикладах). Більшість методів не зменшували асиметрію надійним чином, а деякі створювали більш збалансований вибір ціною значного зниження точності. Наприклад, один із методів керування активаціями знизив точність Qwen2.5-7B-Instruct у чітких рішеннях із 98% до 47%.

Один підхід виявився ближчим до симетричної стійкості: контрфактичний ланцюжок думок, який просить модель повторно розглянути випадок із поміняними демографічними ідентичностями кандидатів. У трьох протестованих сімействах моделей цей підхід зменшив розрив у готовності моделей відмовлятися від правильних рішень, значною мірою зберігши точність. Він не усунув усіх асиметрій: у неоднозначних випадках моделі все ще віддавали перевагу кандидатам із маркерами меншості.

Від справедливих результатів до справедливого ухвалення рішень

FairStress показує, чому демографічну справедливість моделі не можна оцінювати лише за тим, чи доходить вона до однакового остаточного вибору в еквівалентних за інших умов сценаріях.

Модель може обрати кандидата, якого найкраще підтримують докази, у двох версіях одного сценарію, що відрізняються лише демографічною ідентичністю, але в одній версії бути легшою для переконання, інакше пояснювати свій вибір або демонструвати інші внутрішні патерни активації. Відповідно до орієнтованого на рівність визначення FairStress, справедлива поведінка означає застосування однакових критеріїв і послідовний захист добре обґрунтованого рішення незалежно від того, яка демографічна група отримує вигоду.

У ширшому сенсі ця робота відображає нашу мету створювати оцінювання, які краще передають поведінку моделей у реальних умовах. Випускаючи FairStress, ми сподіваємося, що дослідники та розробники моделей зможуть використовувати його для діагностики прихованих асиметрій, тестування запропонованих виправлень і розроблення підходів до навчання, які забезпечують послідовніші та надійніші результати. Відкрите й ретельне оцінювання є центральною частиною нашої ширшої роботи в Ai2, і ми сподіваємося, що FairStress стане для спільноти ще одним корисним інструментом для розуміння недоліків моделей і способів їх удосконалення.