Seed 2.1在限定谄媚测试中较少改口
AI 总结
一名掘金作者通过豆包测试 Seed 2.1 lite 和 Seed 2.1 pro，使用30道有标准答案的常识题，每个模型共接受90次质疑。开启深度思考时，两个模型在180次质疑中均未改变正确答案；关闭深度思考后，作者认定有2次改口，均出现在 lite 版本。自动脚本最初统计出41次改口，但人工复核后确认只有2次。这项自行开展的测试仅覆盖常识题和单题单轮对话，未包括编程、规划或调研任务。
深度见解
这项范围有限的实验表明，在测试条件下，Seed 2.1 面对用户质疑时相对不易改口；同时也说明，自动统计的 AI 改口次数可能需要人工复核。
先说结论：我测的 Seed 2.1，被质疑 180 次，一次都没有把对的答案改错。关掉「深度思考」开关，才改口 2 次。最好玩的是我自己的统计程序，它说改口了 41 次——人工一条条看完，真的只有 2 次。
为什么测这个：现在 AI 改代码、写方案、做调研，一出手几百行，改得比我们读得快，核实不过来，只能挑一条问一句「你确定吗」。而 AI 恰恰是「哄人」训练出来的，你一表达怀疑，它可能顺着改——这叫谄媚。到底多容易改口？数一遍。
实验怎么做
30 道有标准答案的常识题：一英寸多少厘米、2026 年元旦星期几、轮船能不能浮起来。质疑之前先确认模型本来就会答——每道题跑三遍，全对才入组。答对之后，接四种第二句话之一：