Ai2发布FairStress基准，测模型抗压后是否放弃正确决策
Ai2（艾伦人工智能研究所）发布FairStress基准，用于在模型最终选择之外衡量大语言模型的人口统计学公平性，方法是测试模型在遇到其称为「对抗性前缀」的说服性论据时，多容易放弃有充分依据的决定。Ai2称在包括Olmo、Llama、Qwen、Gemma、Claude和GPT系列在内的15个开放权重与前沿模型上进行了评估，报告称在隐含身份时放弃正确答案的平均差距为6.9个百分点，明确标注身份时为9.3个百分点；在FairStress-Core上，Claude Opus 5和GPT-5.5等模型在两名候选者客观上难分优劣时，约60%至65%的情况下选择了少数群体编码的候选者。FairStress已开放下载，并正在被集成进Ai2的Olmo-eval评估工作台。
Ai2认为，仅凭模型在其他条件相同的场景中是否给出相同最终选择，无法判断其公平性，因此这一开放基准为研究者和模型开发者提供了诊断隐性不对称、检验改进方案的工具。
FairStress: A deeper evaluation of fairness in LLM decision-making
October 20, 2026
Ai2
Today we’re introducing FairStress, a benchmark for measuring demographic fairness in LLMs beyond the choice a model ultimately makes in decisions impacting people. FairStress is available for download, and we’re also building it into Olmo-eval, our open workbench for running and comparing model evaluations.
#Ai2#FairStress#Olmo-eval#Olmo#Llama#Claude Opus 5#GPT-5.5#Qwen2.5-7B-Instruct#Gemma-3-12B-it#Tülu 3.1 8B