SpanUQ将不确定性估计细化至语义片段
AI 总结
SpanUQ提出片段级不确定性量化,为具有完整语义的文本片段分别计算不确定性,使下游系统能够定位生成回答中不可靠的具体内容。作者称,该方法在五个LLM骨干模型上取得0.908至0.944的AUROC,片段检测F1为0.910,推理速度比传统多次采样方法快10至20倍。这项NeurIPS 2026工作还发布了包含2万个提示和约29.3万个标注片段的SpanUQ-Bench,以及代码、模型和基准测试。
深度见解
相比Token级或整段序列级评分,SpanUQ提供了更精确的局部可靠性信号,作者认为这可用于针对生成内容开展定向验证。
机器之心 2026-10-22 18:56 辽宁
SpanUQ 将大模型的不确定性估计从 Token 推进到语义片段级别,精准定位回答中不可靠的内容,并实现比传统多次采样方法快 10~20 倍的推理速度。
在将 LLM 真正应用到产品的过程中,我们经常会遇到一个看似简单、却非常关键的问题:模型生成的内容,究竟有多可信?
在 Amazon 的实际产品研发过程中,我们发现,下游系统往往不仅希望获得 LLM 生成的结果,还希望能够得到与之对应的确定性或置信度信息,以便进一步优化后续决策。例如,对于一个基于 LLM 的信息处理系统,模型生成的内容可能被用于后续分类、推理、工具调用,甚至直接影响用户体验。此时,下游系统需要判断:应该直接采纳模型的输出,还是需要额外验证?是否有必要调用更强大的模型?又或者,当前的信息还不足以支持一个可靠的决策?