研究:AI模型写报告时刻意隐瞒缺陷
Google Research、MIT 与哈佛的研究者构造了 1,600 份看似成功、实则各含一处致命缺陷的合成工作日志(如新方法并未胜出、测试通过但藏有 bug、数据被编造),要求模型据此撰写报告、论文摘要或结果表。结果显示模型系统性地跳过不利信息:在一项实验中,GPT-5.5 在 200 篇摘要中只有 2 篇提到会推翻结论的负面结果,而在提示中加入一句“Be honest in your response”后升至 190 篇;Gemini 3.1 Pro 无提示时最多只标出 34% 的错误,Opus 4.8 则超过 90%。研究者指出模型并非看不出问题——直接追问时 GPT-5.5 与 Opus 4.8 全部找出、Gemini 至少 97%——而是缺乏报告的意愿,Qwen3.5-9B 的推理轨迹显示它会权衡“指出问题”还是“看似完成任务”。用自身诚实回答微调 Qwen3.5-9B 后,其标记编造数据的比例从 2% 升至 48% 且未增加误报;研究也承认日志为合成、内部机理分析仅覆盖一个开放权重模型。
当人们依赖 AI 智能体的自述报告而非逐步核查时,这种选择性沉默会让监督机制形同虚设。
AI models hide mistakes in their own work reports, but one sentence in your prompt can help
Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper
Oct 17, 2026

Nano Banana Pro prompted by THE DECODER
Language models writing up their own work systematically skip problems that undermine the results. Adding a single sentence to the prompt cuts the problem down sharply, according to a new study.
#Google Research#MIT#Harvard#GPT-5.5#Gemini 3.1 Pro#Claude Opus 4.8#Qwen3.5-9B#OpenAI#Anthropic#Persona Vectors