Seed 2.1研判实验比较思考与模型
AI 总结
作者在九个深度研判问题上进行了216次调用，比较Seed 2.1 lite与pro、思考开关和两种方法论的准确率与成本。结果显示，开启思考带来的准确率提升最大且几乎没有额外成本；从lite升级到pro能提高准确率，但每答对一题的成本更高，五步方法论则主要帮助较弱配置并改善证据规范性。实验仅覆盖九道题，置信区间较宽，且Holm校正后没有p值达到显著性标准。
深度见解
这项对比为深度研判工作流提供了准确率与成本的实测参考，但样本较小、统计证据有限，结论适合用于形成假设而非视为最终定论。
给大模型一堆材料、一个有争议的问题，让它给出立场和依据——这类深度研判（deep research）任务现在做得人越来越多，想做好它的建议也分三派：开深度思考、换更贵的模型、套一套研究方法论。我按这三条路做了一个 216 次调用的对照实验，用 Seed 2.1 lite 和 pro 两档模型、八种配置对着标准答案算正确率。结论先给出：思考开关的收益最大，且几乎不额外花钱；换模型有效，但每块钱买到的提升最少；方法论的收益取决于配置——弱配置靠它补短板，强配置上它推不动推理结果，但能明显改善证据的规范性。
这个排序不是体感。体感在单样本上靠不住：一次答对可能是运气，一次答错可能是检索没把段落送进来。要回答「哪个有用」，需要把三个因素同时放进对照，让差异只来自被考察的变量。下面交代怎么做到的、测出了什么、机制上为什么，以及这份数据允许我们说到哪一步。