kb默认改用加权融合修复跨语言召回
AI 总结
kb 项目开发者称,跨语言文档虽被向量检索召回,却在 BGE-M3 与 BM25 结果使用 RRF 合并时被淘汰。项目随后将默认混合检索路径改为 weighted_fuse,对各路分数归一化,并按文档实际出现的检索路数计算,同时加入相关性下限、更大候选池和回归测试。RRF 仍被保留用于既有测试和对比,开发者明确表示未进行大规模基准测试。
深度见解
该案例显示,结果融合方式而非模型能力也可能造成 RAG 漏检,并给出了带测试覆盖的跨语言检索修复方案。
先说一个挺扫兴的场景。
你让 AI 记住一句话:「用户最喜欢的音乐是 Poker Face。」过了几天,你问它:「用户最喜欢什么音乐?」它却答不上来。
你去知识库里一看,这句话明明还在。更奇怪的是,单独按「意思相近」来搜,它能排在前面;把另一种搜索方式加进来,它反而从结果里消失了。
我遇到的就是这个问题。一开始我怀疑模型不行,后来才发现:资料找到了,却在合并搜索结果时被淘汰了。
最后我没有换更大的模型,而是改了一个只有几行的排序公式。
一、先不谈技术,知识库到底在干什么
即使没接触过 kb,也可以把它理解成一个放在自己电脑里的资料抽屉。