AI内容核查系统:原子主张与权威证据
AI 总结
掘金 · 人工智能介绍了一套AI内容核查系统:先把文本拆成原子主张,再按权威性检索外部证据,由模型判断证据与主张的关系,最后由规则生成结论。该系统采用多阶段小模型流水线支持批量处理,据称已应用于知识百科、内容问答等五类业务。报道未提供核查准确率或成本降幅的独立验证。
深度见解
这套方案展示了大规模AI内容核查的工程路径,将语义判断与确定性决策分离,并通过拆分窄任务让小模型承担主力处理。
导读
AIGC 内容里的事实错误越来越隐蔽:前几段都对,最后一句张冠李戴;检索结果里对的错的都有,模型挑了不权威的那条。我们建设了一套内容 AI 核查系统,核心做法是把内容拆成最小的可验证主张,以权威证据为准逐条判断,让模型只判断证据与主张的关系,由规则给出结论。在此基础上,我们用多阶段小模型流水线把核查成本降下来,覆盖海量批量数据。系统已在知识百科、内容问答等五类业务落地。
01 核查难在哪
先看几个线上真实出现过的错误:
这些错误有个共同点:单看每一句都”有出处”,错误藏在局部、藏在限定条件里、藏在多个数字之间的关系里。人工抽查覆盖不了这么大的量,简单规则也识别不出来。