TRACE Report Shows Evidence Identity Gaps in Scientific QA
A Juejin commentary reviews the TRACE system report and the LitTraceQA benchmark for AI scientific question answering. TRACE scored 0.7606 overall on 71 questions, with reported paper-retrieval F1 of 0.9728 and evidence-location F1 of 0.6847, while the report attributes its failures primarily to a “grounding contract gap” in intermediate representations. The review notes limitations including a small sample, incomplete reproducibility, and results that are specific to the benchmark and scorer.
The report highlights a practical issue for retrieval-augmented QA: retrieving evidence and answering correctly may not be enough if target identity, source location, or canonical table keys are lost before scoring or presentation.
💡 一句话总结：LitTraceQA 是个较真的评测——不只看答案，还要求你说出答案出自哪篇论文的哪一页、哪个表格、哪条公式，三样分开打分。TRACE 系统在这条赛道拿下 0.7606，却在复盘里承认：论文找对率高达 97%，证据定位只有 68%。差距不在模型聪明与否，而在系统接口一次次「偷换身份」——这就是作者命名的 grounding contract gap（接地契约鸿沟）。
导语：语义正确 ≠ 评分可见
先讲一个所有做 RAG 的人都遇到过、但很少有人系统讨论的现象。
你问一个科研问答系统：「方法 A、B、C、D 在指标 X 上的对比数据是什么？」系统其实检索到了全部四篇论文，最后也给出了正确数字。但在中间某一步，它把四篇论文的检索结果混进了一个全局排序——A 论文的相关段落排第 3，D 论文的相关段落被挤到第 35。融合排序看第 35 名：弱证据，丢弃。于是 D 的数据没答上。
信息明明在语料里，系统也明明「看过」它——但它在评分器可见的形式上消失了。这就是这篇论文的核心概念：grounding contract gap——语料中可得的信息，与系统以正确身份输出到下游（模型、评分器、用户）的信息之间的落差。