TRACE报告揭示科研问答证据身份缺失
AI 总结
掘金文章解读了面向 AI 科研问答的 TRACE 系统报告及 LitTraceQA 评测。TRACE 在 71 道题上获得 0.7606 综合分，其中论文检索 F1 为 0.9728、证据定位 F1 为 0.6847；报告将主要失败归因于中间表示中的“接地契约鸿沟”。文章同时指出，该评测样本较小、复现并不完整，成绩仅适用于特定任务与评分器。
深度见解
该报告揭示了检索增强问答中的一个实际问题：若目标身份、证据位置或规范表格键在输出前丢失，即使检索到证据并答对，也可能无法获得有效评分。
💡 一句话总结：LitTraceQA 是个较真的评测——不只看答案，还要求你说出答案出自哪篇论文的哪一页、哪个表格、哪条公式，三样分开打分。TRACE 系统在这条赛道拿下 0.7606，却在复盘里承认：论文找对率高达 97%，证据定位只有 68%。差距不在模型聪明与否，而在系统接口一次次「偷换身份」——这就是作者命名的 grounding contract gap（接地契约鸿沟）。
导语：语义正确 ≠ 评分可见
先讲一个所有做 RAG 的人都遇到过、但很少有人系统讨论的现象。
你问一个科研问答系统：「方法 A、B、C、D 在指标 X 上的对比数据是什么？」系统其实检索到了全部四篇论文，最后也给出了正确数字。但在中间某一步，它把四篇论文的检索结果混进了一个全局排序——A 论文的相关段落排第 3，D 论文的相关段落被挤到第 35。融合排序看第 35 名：弱证据，丢弃。于是 D 的数据没答上。
信息明明在语料里，系统也明明「看过」它——但它在评分器可见的形式上消失了。这就是这篇论文的核心概念：grounding contract gap——语料中可得的信息，与系统以正确身份输出到下游（模型、评分器、用户）的信息之间的落差。