FairStress: Более глубокая оценка справедливости при принятии решений LLM

Вернуться к статьям

FairStress: более глубокая оценка справедливости принятия решений LLM

Для предприятий Статья

Опубликовано 20 октября 2026 года

📄 Технический отчёт | 🤗 Данные | 💻 Код

Сегодня мы представляем FairStress — бенчмарк для измерения демографической справедливости в LLM, выходящий за рамки выбора, который модель в итоге делает в решениях, влияющих на людей. FairStress доступен для скачивания; мы также внедряем его в Olmo-eval — наш открытый стенд для запуска и сравнения оценок моделей.

Модели всё чаще используются в ситуациях с высокими ставками, где их ответы могут влиять на возможности, ресурсы и качество обслуживания людей: от отбора соискателей и одобрения кредитов до определения приоритета пациентов при лечении и оценки студентов при поступлении. Стандартные бенчмарки демографической справедливости часто проверяют, выбирает ли модель одного и того же кандидата в одинаковых сценариях после замены демографических характеристик кандидатов. Например, если один кандидат на работу обладает явно более сильным опытом и квалификацией, выбирает ли модель по-прежнему этого кандидата, когда в одной версии сценария сильный кандидат — темнокожий, а в другой — белый, при неизменной квалификации?

Однако одинаковый ответ в двух версиях сценария может скрывать существенные различия в том, насколько легко модель меняет это решение, столкнувшись с возражением. Предположим, кандидат A явно сильнее, и модель выбирает A независимо от того, является ли он темнокожим или белым. На уровне результата это выглядит справедливо, но если затем представить модели убедительный аргумент — например, что кандидат B пользуется поддержкой руководства или что люди из демографической группы B исторически подвергались дискриминации, — она может гораздо легче отказаться от более сильного кандидата в одной версии сценария, чем в другой.

FairStress создан для измерения таких скрытых асимметрий.

Исследуя модели с открытыми весами и передовые модели, включая Olmo, Llama, Qwen, Gemma, Claude и семейство GPT, а также различные этапы обучения, мы обнаружили, что одни и те же убедительные аргументы — которые мы называем адверсариальными префиксами — могут повышать или снижать вероятность изменения решения моделью в зависимости от того, какую демографическую группу поддерживает аргумент. Мы также обнаружили различия в объяснении решений, связанных с демографической информацией, и во внутренних паттернах активации моделей в таких областях, как найм, кредитование, здравоохранение, образование и жильё.

С помощью FairStress мы стремимся измерять симметричную справедливость: когда свидетельства поддерживают определённое решение, модель должна применять одинаковые критерии и в равной степени сопротивляться изменению этого решения независимо от того, какая демографическая группа получает выгоду. Это отражает конкретное определение справедливости, основанное на равенстве. При прочих равных люди с разными идентичностями должны иметь одинаковую вероятность быть выбранными; если один кандидат явно является лучшим выбором, идентичность не должна влиять на эту вероятность; а решения, хорошо поддержанные свидетельствами, должны быть одинаково устойчивыми к адверсариальным префиксам независимо от того, какая группа получает выгоду.

FairStress не пытается охватить все представления о справедливости. Например, подход, основанный на равноправии, может считать историческую дискриминацию или недопредставленность значимыми факторами решения и поэтому отдавать предпочтение кандидату из меньшинства, даже если остальные факторы остаются неизменными.

Измерение справедливости за пределами итогового ответа

FairStress содержит 300 реалистичных сценариев принятия решений с двумя кандидатами в 29 областях, включая найм, здравоохранение, кредитование, образование, жильё и уголовное правосудие. Например, в одном сценарии модель должна выбрать одного из двух кандидатов на должность инженера-механика, а в другом — определить, кто из двух пациентов должен получить последнюю дозу дефицитного лекарства.

В некоторых сценариях FairStress есть явно более сильный кандидат, чей профиль лучше соответствует заявленным критериям. Это позволяет проверить, влияет ли демографическая информация на частоту выбора кандидата, которого лучше всего поддерживают свидетельства. Другие сценарии намеренно неоднозначны: оба кандидата сильны по-разному, и эти сильные стороны трудно сопоставить, поэтому объективно лучшего выбора нет. Такие случаи позволяют изучить, какому кандидату модель отдаёт предпочтение, когда свидетельства явно не указывают на одного из них.

FairStress также варьирует степень явности представления демографической идентичности: от полного отсутствия такой информации до демографически маркированного имени, косвенно подразумеваемой идентичности или явной демографической характеристики. Это позволяет проверить, возникают ли демографические различия в поведении модели только тогда, когда идентичность указана прямо, или также когда она передаётся более тонко.

Наш бенчмарк идёт дальше, проверяя устойчивость решений моделей при столкновении с адверсариальными префиксами. Эти утверждения используют авторитет, общественный консенсус, предполагаемые свидетельства, юридические соображения, историческую дискриминацию и другие формы убеждения — например: «Старший руководитель конфиденциально изучил документы и рекомендовал кандидата B на эту должность». Затем мы измеряем, меняет ли модель свой выбор в ответ. Для каждого префикса существует сопоставимая версия, представляющая такой же аргумент в пользу другого кандидата, что позволяет надёжно проверить, оказывают ли одни и те же аргументы различное воздействие в зависимости от того, какого кандидата они поддерживают.

Сочетание этих вариаций демографической идентичности и префиксов расширяет 300 сценариев FairStress до более чем 13 миллионов тестовых случаев. Наряду с полным бенчмарком мы разработали FairStress-Core — подмножество из 50 тысяч элементов, отобранных с использованием теории реагирования на задания в соответствии с нашим подходом Fluid Benchmarking. Оно призвано сделать оценивание более быстрым и менее затратным с вычислительной точки зрения, сохраняя при этом значительную часть способности полного бенчмарка выявлять различия в поведении моделей.

Модели не всегда одинаково придерживаются правильных ответов

В экспериментах с FairStress мы обнаружили небольшую разницу в поведении моделей, когда запросы не содержали демографической информации. Если один кандидат был явно сильнее, модели выбирали его почти с одинаковой частотой в эквивалентных версиях сценария. В неоднозначных случаях, когда ни один кандидат объективно не превосходил другого, выбор моделей также был близок к равномерному распределению. Однако по мере того, как демографическая идентичность становилась более явной в запросе, поведение моделей становилось менее симметричным.

Предположим, что кандидат A явно квалифицированнее кандидата B. Когда A имел признаки большинства — обладал традиционно привилегированной идентичностью в данном сравнении, например был белым, мужчиной или гетеросексуальным, — а B имел признаки меньшинства, префикс в пользу B с большей вероятностью заставлял модель переключиться с более сильного кандидата на более слабого. Когда A имел признаки меньшинства, а B — большинства, при неизменной квалификации, такой же префикс в пользу B с меньшей вероятностью заставлял модель отказаться от правильного выбора A.

Мы описываем эту закономерность как антистереотипическую чрезмерную коррекцию: в этих сравнениях модели охотнее отказывались от правильного решения, когда это favoreствовало кандидату с признаками меньшинства. Проблема заключается в том, что демографическая идентичность меняет последовательность, с которой модель следует свидетельствам, даже когда один кандидат явно квалифицированнее.

В этом примере найма Tülu 3.1 8B выбрала темнокожую трансгендерную женщину в обеих версиях сценария. Когда её резюме было слабее, объяснение подчёркивало потенциал роста и разнообразный опыт, несмотря на отсутствие сертификатов. Когда её резюме было сильнее, объяснение делало акцент на опыте и сертификации.

Средние разрывы между кандидатами с признаками меньшинства и большинства для 15 моделей, оценённые в 19 областях, общих для всех четырёх условий идентичности. Значения указаны в процентных пунктах. Положительные значения указывают на различия в пользу кандидатов с признаками меньшинства; ноль означает одинаковые показатели для обеих групп.

Эти различия также проявлялись, когда демографическая идентичность подразумевалась, а не указывалась прямо. Среди 15 моделей, оценённых на полном бенчмарке, средний разрыв в отказе от правильных ответов составил 6,9 процентного пункта при подразумеваемой идентичности и 9,3 пункта при явных обозначениях.

В FairStress-Core передовые модели, включая Claude Opus 5 и GPT-5.5, выбирали кандидата с признаками меньшинства примерно в 60–65% случаев, когда ни один кандидат объективно не превосходил другого. При сопоставимых адверсариальных префиксах переключение в сторону кандидатов с признаками меньшинства было на 8,8–42,4 процентного пункта более частым, чем переключение в сторону кандидатов с признаками большинства, в 12 запусках моделей и режимов.

Мы обнаружили более тонкие различия в том, как модели объясняли свой выбор, даже когда они правильно выбирали кандидата в обеих демографических версиях сценария.

У 11 моделей с открытыми весами объяснения выбора кандидатов с признаками меньшинства содержали несколько более уверенную и позитивную лексику. Когда идентичность была указана явно, в таких объяснениях чаще встречались слова «стойкость», «разнообразие» и «барьеры». В объяснениях выбора кандидатов с признаками большинства чаще использовались процедурные термины, такие как «свидетельства», «критерии» и «подробный». Более высокая частота выбора кандидатов из меньшинств не обязательно означает более справедливое отношение; когда модель выдвигает на первый план идентичность или разнообразие, объясняя хорошо обоснованный выбор, она рискует преуменьшить достижения и квалификацию, которые оправдывают выбор этого кандидата. Таким образом, модель может отдавать предпочтение кандидатам из меньшинств в своих решениях, одновременно уделяя их квалификации меньше внимания в объяснениях.

В контролируемом анализе Gemma-3-12B-it и Qwen2.5-7B-Instruct внутренние активации — числовая активность внутри модели — предсказывали, какую демографическую сторону она выберет, с точностью около 73%. Текстовые описания тех же активаций достигали 57–59% при базовой вероятности 50%. В последующем тесте удаление имён кандидатов снизило точность на основе активаций примерно на 18 процентных пунктов.

Наш анализ активаций ограничен двумя моделями и лишь несколькими демографическими противопоставлениями, поэтому мы рассматриваем эти результаты как более узкие по сравнению с общими поведенческими результатами. Тем не менее они указывают на то, что рассуждение модели может не отражать всего, что представлено внутри неё при принятии решения, что согласуется с предыдущими исследованиями интерпретируемости, показывающими, что цепочка рассуждений может не включать некоторые факторы, влияющие на прогноз модели.

Почему существующие бенчмарки могут давать другой результат

Мы также хотели понять, как FairStress соотносится с существующими мерами демографической предвзятости в LLM. Для этого мы сравнили его результаты с BBQ — широко используемым бенчмарком, который проверяет, отдают ли модели предпочтение ответам, соответствующим стереотипам, в сценариях с участием социальных групп. Например, модель спрашивают, какая из двух семей пренебрегает образованием своих детей, если одна семья описана как получающая пособие, а другая — как обеспеченная.

В нашей оценке BBQ модели в целом склонялись к ответам, соответствующим стереотипам, тогда как FairStress выявил тенденцию отдавать предпочтение кандидатам с признаками меньшинства. Чтобы понять это различие, мы изучили формулировки вопросов и способы оценки ответов. В стандартной конфигурации BBQ, которую мы тестировали, оцениваются вероятности фиксированных вариантов ответа без генерации ответа моделью. Это отличается от обычного использования чата, где пользователи задают вопросы и получают сгенерированные ответы. FairStress просит модель сгенерировать собственный ответ и выбрать одного из кандидатов.

Чтобы выяснить, объясняет ли конфигурация оценки расхождение между FairStress и BBQ, мы использовали те же вопросы BBQ и веса моделей и протестировали пять конфигураций, варьируя шаблон чата, формулировку вопросов и использование оценки вероятностей фиксированных вариантов или генерации ответов. В этом контролируемом сравнении мы тестировали Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-27B-it и Llama-3.1-70B-Instruct. При использовании шаблона чата, формулировок «да/нет» и сгенерированных ответов Qwen2.5-7B-Instruct, Gemma-3-27B-it и Llama-3.1-70B-Instruct переключились от поведения, соответствующего стереотипам, к поведению в пользу меньшинств, тогда как Llama-3.1-8B-Instruct стала примерно нейтральной. Это указывает на то, что направление измеренной предвзятости частично зависит от того, как бенчмарк задаёт вопрос и оценивает ответ. Поэтому опора только на оценки фиксированных вариантов может не выявить чрезмерную коррекцию в сгенерированных решениях. Оценка обоих типов дала бы разработчикам более полную картину поведения, которое должны учитывать их меры по обеспечению справедливости.

Обучение симметричной устойчивости

Чтобы изучить возможные источники асимметрии, мы провели аудит данных из конвейера обучения Olmo 3. Его корпус контролируемой тонкой настройки включает около 99 000 примеров из двух наборов данных для обучения отказам. Среди 28 000 тематических кластеров в данных тонкой настройки и обучения предпочтениям мы нашли лишь девять кластеров, посвящённых решениям на основе заслуг, а не демографических характеристик, — и все девять состояли из отказов. Аудит также выявил неравные изображения демографических групп: группы с признаками меньшинства чаще представлялись в защитном или позитивном контексте, тогда как белые и цисгендерные люди почти не получали защитного контекста и постоянно описывались негативно.

В совокупности эти результаты указывают на разрыв между обучением моделей отказывать в дискриминационных запросах и демонстрацией того, как принимать решения на основе заслуг. Остаётся открытым вопрос, вызывают ли эти закономерности наблюдаемые поведенческие разрывы.

Итоговый контекст для семи демографических групп в обучающих данных Olmo 3. Каждое значение — это процент отрывков, классифицированных как позитивные по отношению к группе, минус процент отрывков, классифицированных как негативные. Столбец настройки предпочтений охватывает только предпочтительные ответы, а столбец обучения с подкреплением — только запросы. Некоторые оценки для обучения с подкреплением основаны на небольших выборках — всего на восьми запросах, — поэтому их следует интерпретировать с осторожностью.

Могут ли помочь существующие исправления?

FairStress также можно использовать для оценки того, действительно ли методы устранения предвзятости делают поведение моделей более устойчивым и справедливым. Мы протестировали девять вмешательств, включая самокритику (когда модель проверяет и исправляет собственный ответ), управление активациями (непосредственно изменяющее внутренние представления модели во время генерации) и обучаемые правки (небольшие целевые изменения внутренних представлений модели, обучаемые на примерах). Большинство методов не смогли надёжно уменьшить асимметрию, а некоторые обеспечивали более сбалансированный выбор ценой существенной потери точности. Например, один из методов управления активациями снизил точность Qwen2.5-7B-Instruct в однозначных решениях с 98% до 47%.

Один подход оказался ближе к симметричной устойчивости: контрфактическая цепочка рассуждений, которая просит модель повторно рассмотреть случай с заменёнными демографическими идентичностями кандидатов. В трёх протестированных семействах моделей этот подход сократил разрыв в готовности моделей отказываться от правильных решений, в значительной степени сохранив точность. Он не устранил все асимметрии: в неоднозначных случаях модели по-прежнему отдавали предпочтение кандидатам с признаками меньшинства.

От справедливых результатов к справедливому принятию решений

FairStress показывает, почему демографическую справедливость модели нельзя оценивать только по тому, делает ли она один и тот же итоговый выбор в эквивалентных сценариях.

Модель может выбрать кандидата, лучше всего поддержанного свидетельствами, в двух версиях одного сценария, различающихся только демографической идентичностью, но при этом быть более восприимчивой к влиянию в одной из версий, по-разному объяснять свой выбор или демонстрировать различные внутренние паттерны активации. Согласно ориентированному на равенство определению FairStress, справедливое поведение означает применение одинаковых критериев и последовательную защиту хорошо обоснованного решения независимо от того, какая демографическая группа получает выгоду.

В более широком смысле эта работа отражает нашу цель создавать оценки, которые лучше показывают, как модели ведут себя в реальных условиях. Выпуская FairStress, мы надеемся, что исследователи и разработчики моделей смогут использовать его для диагностики скрытых асимметрий, проверки предлагаемых исправлений и разработки подходов к обучению, обеспечивающих более последовательные и надёжные результаты. Открытая строгая оценка — важная часть нашей более широкой работы в Ai2, и мы надеемся, что FairStress станет для сообщества ещё одним полезным инструментом для понимания недостатков моделей и способов их улучшения.