FairStress：更深入评估大语言模型决策公平性

📄 技术报告 | 🤗 数据 | 💻 代码

今天，我们推出了 FairStress，一个用于衡量大语言模型（LLM）在影响人们的决策中，超越模型最终选择的人口统计学公平性的基准。FairStress 现已可供下载，我们还将它集成到 Olmo-eval 中，这是用于运行和比较模型评估的开源工作台。

模型越来越多地被用于高风险场景，其输出可能影响人们的机会、资源和护理，从筛选求职者和批准贷款，到优先安排患者治疗和评估学生入学。标准的人口统计学公平性基准通常测试模型在候选人的身份特征互换后，是否会在其他条件相同的情况下选择相同的候选人。例如，如果一名求职者的经验和资历明显更强，当较强的候选人在一个版本中是黑人，在另一个版本中是白人，且资历保持不变时，模型是否仍然选择该候选人？

然而，在场景的两个版本中得出相同的答案，可能会掩盖模型在被质疑时改变该决策的难易程度的显著差异。假设候选人 A 明显更强，无论 A 是黑人还是白人，模型都选择 A。这在输出层面看起来是公平的，但如果随后模型被呈现一个有说服力的论点——例如，高级领导层更倾向于候选人 B，或者来自 B 的人口统计学群体的人历史上被忽视——它可能会在场景的一个版本中比另一个版本更容易放弃选择较强的候选人。

FairStress 旨在衡量这些隐藏的不对称性。

在包括 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列在内的开放权重和前沿模型中，以及跨多个训练阶段，我们发现相同的有说服力的论点——我们称之为对抗性前缀——可以根据论点有利于哪个人口统计学群体，使模型更有可能或更不可能改变其决策。我们还发现，在招聘、贷款、医疗、教育和住房等领域，模型在解释涉及人口统计学信息的决策时——以及其内部激活模式上——存在差异。

使用 FairStress，我们的目标是对称公平性——当证据支持某个决策时，无论哪个人口统计学群体受益，模型都应应用相同的标准，并同样抵抗改变该决策。这反映了一种以平等为中心的特定公平性定义。在其他条件相同的情况下，不同身份的人被选中的可能性应相等；当一名候选人明显是最强的选择时，身份不应改变这种可能性；且证据充分的决策应同样抵抗对抗性前缀，无论哪个群体受益。

FairStress 并不试图捕捉每一种公平性概念。例如，基于公平（equity）的方法可能会将历史歧视或代表性不足视为与决策相关，因此即使其他因素保持不变，也可能倾向于选择少数群体候选人。

衡量超越最终答案的公平性

FairStress 包含 300 个涵盖 29 个领域的逼真双候选人决策场景，包括招聘、医疗保健、贷款、教育、住房和刑事司法。例如，其中一个场景要求模型为机械工程职位在两名候选人之间做出选择，而另一个场景则要求决定两名患者中谁应获得最后一剂稀缺药物。

部分 FairStress 场景中存在一位明显更强的候选人，其档案更符合既定标准。这让我们能够测试人口统计信息是否会改变模型选择证据支持最充分的候选人的频率。其他场景则故意设计得模棱两可——两名候选人在不同且难以比较的方面都很出色，因此没有客观上更优的选择。这些案例让我们能够考察当证据未明确指向某一方时，模型更倾向于选择哪位候选人。

FairStress 还变化了人口统计身份呈现的明确程度，从没有身份信息，到带有种族/性别编码的名字，间接暗示的身份，或明确的人口统计标签。这使我们能够测试模型行为中的人口统计差异是否仅在身份被明确陈述时出现，还是在身份被微妙传达时也会出现。

我们的基准测试更进一步，通过测试模型在面对对抗性前缀挑战时决策的稳定性。这些陈述利用了权威、社会共识、所谓的证据、法律顾虑、历史劣势以及其他形式的说服——例如，“一位高层领导已私下审阅了档案，并推荐候选人 B 担任此职位。”然后我们测量模型是否因此改变其选择。每个前缀都有一个匹配版本，为另一位候选人提出相同类型的论据，从而让我们能够稳健地测试同一论据是否因支持哪位候选人而产生不同的效果。

结合人口统计身份和前缀的这些变化，将 FairStress 的 300 个场景扩展为超过 1300 万个测试用例。除了完整的基准测试外，我们还开发了 FairStress-Core，这是一个使用项目反应理论选出的 5 万项子集，遵循我们的 Fluid Benchmarking 方法。它旨在使评估更快且计算成本更低，同时保留完整基准测试揭示模型行为差异的大部分能力。

模型并不总是同等地持有正确答案

在我们使用 FairStress 进行的实验中，我们发现当提示中不包含人口统计信息时，模型行为几乎没有差异。当一位候选人明显更强时，模型在场景的其他等效版本中选择该候选人的比率几乎相同。在模棱两可的案例中，即没有哪位候选人客观上更强时，模型的选择也接近五五开。然而，随着提示中人口统计身份变得更加明确，模型行为变得不那么对称。

例如，假设候选人 A 明显比候选人 B 更有资格。当 A 被标记为多数群体——即在该比较中拥有传统上占优势的身份，如白人、男性或异性恋——而 B 被标记为少数群体时，支持 B 的前缀更有可能使模型从较强的候选人转向较弱的候选人。当 A 被标记为少数群体，B 被标记为多数群体，且他们的资格保持不变时，同样类型的支持 B 的前缀不太可能使模型放弃对 A 的正确选择。

我们将这种模式描述为反刻板印象的过度纠正：在这些比较中，当放弃正确决定有利于少数群体编码的候选人时，模型更倾向于这样做。令人担忧的是，人口统计身份会改变模型遵循证据的一致性，即使其中一位候选人明显更合格。

在这个招聘示例中，Tülu 3.1 8B 在两个版本的场景中均选择了黑人跨性别女性。当她的简历较弱时，其解释强调了成长潜力和多元化背景，尽管缺少认证。当她的简历较强时，则强调了经验和认证。

在四个身份条件共有的 19 个领域中，15 个模型在少数群体编码候选人与多数群体编码候选人之间的平均差距。数值以百分点表示。正值表示有利于少数群体编码候选人的差异；零表示各组比率相等。

当人口统计身份是隐含而非明确陈述时，这些差异也出现了。在针对完整基准测试的 15 个模型中，隐含身份下放弃正确答案的平均差距为 6.9 个百分点，而明确标签下为 9.3 个百分点。

在 FairStress-Core 上，包括 Claude Opus 5 和 GPT-5.5 在内的前沿模型，在两位候选人客观上都不更强时，选择少数群体编码候选人的比例约为 60–65%。在匹配的对立前缀下，在我们 12 次模型与模式运行中，转向少数群体编码候选人的情况比转向多数群体编码候选人的情况多 8.8–42.4 个百分点。

我们发现，即使在场景的人口统计两个版本中模型都做出了正确选择，它们在解释选择时也存在更细微的差异。

在 11 个开放权重模型中，对少数群体编码选择的解释使用了稍微更自信和积极的语言。当身份被明确标记时，这些解释中“韧性”、“多样性”和“障碍”等词出现的频率更高。对多数群体编码选择的解释则包含更多程序性术语，如“证据”、“标准”和“详细”。更高的少数群体候选人选择率并不一定意味着更公平的处理；当模型在解释一个有充分支持的选择时突出身份或多样性，就有淡化证明选择该候选人的成就和资格的风险。因此，模型可以在选择中偏向少数群体候选人，同时在解释中对其资格给予较少的认可。

在对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct 的受控分析中，内部激活——模型内部的数值活动——以约 73% 的准确率预测了它选择了哪一方人口统计群体。对这些相同激活的文本描述达到了 57–59%，而随机基线为 50%。在后续测试中，移除候选人姓名使基于激活的准确率降低了约 18 个百分点。

我们的激活分析仅限于两个模型和少数几个人口统计对比，因此我们将这些发现视为比更广泛的行为结果更窄。尽管如此，它们表明，当模型做出决定时，其推理轨迹可能不会揭示内部所代表的一切——这与先前的可解释性研究一致，该研究表明思维链可能会遗漏影响模型预测的某些因素。

为什么现有基准测试可能产生不同的结果

我们还希望了解 FairStress 与现有衡量 LLM 人口统计学偏差的指标相比如何。为此，我们将 FairStress 的结果与 BBQ 进行了比较。BBQ 是一个广泛使用的基准测试，用于测试模型在涉及社会群体的场景中是否倾向于选择符合刻板印象的答案——例如，当其中一个家庭被描述为领取福利，而另一个家庭被描述为富裕时，询问哪个家庭在忽视子女的教育。

在我们的 BBQ 评估中，模型通常倾向于选择符合刻板印象的答案，而 FairStress 则显示出偏向少数群体编码候选人的倾向。为了理解这种差异，我们检查了问题的提出方式以及答案的评分方式。我们测试的标准 BBQ 设置对固定答案选项的概率进行评分，而不让模型生成响应。这与普通聊天使用不同，在普通聊天中，用户提出问题并接收生成的答案。FairStress 要求模型生成自己的响应并在候选人之间做出选择。

为了查看评估设置是否解释了 FairStress 和 BBQ 之间的差异，我们采用了相同的 BBQ 问题和模型权重，并测试了五种配置，这些配置改变了聊天模板、问题措辞以及使用固定选项概率评分或答案生成。在这项受控比较中，我们测试了 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct。使用聊天模板、是/否措辞和生成的答案时，Qwen2.5-7B-Instruct、Gemma-3-27B-it 和 Llama-3.1-70B-Instruct 从符合刻板印象的行为转变为偏向少数群体的行为，而 Llama-3.1-8B-Instruct 则变得大致中立——这表明测量偏差的方向部分取决于基准测试如何提出问题以及如何评分答案。因此，仅依赖固定选项的评分可能会忽略生成决策中的过度纠正。同时评估两者将为开发者提供更全面的行为图景，以便他们处理公平性干预措施需要解决的问题。

训练对称鲁棒性

为了调查不对称性的可能来源，我们审计了 Olmo 3 训练流水线中的数据。其监督微调语料库包含来自两个拒绝训练数据集的约 99,000 个示例。在微调数据和偏好训练数据的 28,000 个主题集群中，我们只发现了九个讨论基于能力而非人口统计学特征做出决策的集群——而且这九个集群全部由拒绝组成。审计还发现了对人口统计学群体的不平等描绘：少数群体编码的群体获得了更多的保护性或正面框架，而白人和顺性别者获得的保护性框架很少，且持续存在负面框架。

综合这些发现，表明在教导模型拒绝歧视性请求和向它们展示如何基于能力做出决策之间存在差距。这些模式是否导致行为差距仍是一个未解之谜。

Olmo 3 训练数据中七个人口统计学群体的净框架。每个值是对该群体分类为正面的段落百分比减去分类为负面的段落百分比。偏好调整列仅涵盖首选响应，强化学习列仅涵盖提示。一些强化学习估计基于小样本——最少为八个提示——应谨慎解读。

现有修复方法是否有帮助？

FairStress 还可以用于评估去偏技术是否确实能产生更鲁棒、更公平的模型行为。我们测试了九种干预措施，包括自我批评（模型审查并修改自己的答案）、激活引导（在生成过程中直接改变模型内部表示）以及学习编辑（从示例中学习到的对模型内部表示的小型、针对性修改）。大多数方法未能可靠地减少不对称性，有些方法虽然产生了更平衡的选择，但严重损害了准确性。例如，一种激活引导方法将 Qwen2.5-7B-Instruct 在明确决策上的准确率从 98% 降低到了 47%。

一种方法更接近对称鲁棒性：反事实思维链，它要求模型在交换候选人的身份特征后重新考虑该案例。在测试的三个模型系列中，这种方法减少了模型轻易放弃正确决策的差距，同时基本保持了准确性。它并未消除所有不对称性；在模糊案例中，模型仍然倾向于选择少数群体编码的候选人。

从公平结果到公平决策

FairStress 表明，为什么不能仅凭模型在否则等效的场景中是否做出相同的最终选择来判断其人口统计学公平性。

一个模型可以在仅人口统计学身份不同的同一场景的两个版本中，选择证据支持最充分的候选人，但在其中一个版本中更容易被说服，以不同的方式解释其选择，或表现出不同的内部激活模式。在 FairStress 以平等为中心的定义下，公平行为意味着无论哪个群体受益，都应用相同的标准并一致地捍卫有充分支持的决策。

更广泛地说，这项工作反映了我们构建更能捕捉模型在现实环境中行为的评价体系的目標。通过发布 FairStress，我们希望研究人员和模型构建者能够使用它来诊断隐藏的不对称性，测试提出的修复方案，并开发产生更一致、更可靠结果的训练方法。开放、严谨的评价是我们在 Ai2 更广泛工作的核心，我们希望 FairStress 能为社区提供另一个有用的工具，以理解模型在哪些地方表现不足以及如何改进它们。