字节Seed揭示长文本性能波动:分块KV缓存相位敏感
AI 总结
字节跳动 Seed 团队在最新研究论文中指出,大语言模型处理超长文本时的性能波动,主要源于分块 KV 缓存压缩技术带来的“相位敏感性”。该技术为降低长上下文推理内存占用,用固定步幅把连续 token 窗口压缩为更少条目,却引入了一个新的位置坐标——token 相对于压缩窗口边界的“相位”。实验显示,同样的信息处于不同相位时检索难度差异显著,部分大型开源模型的长文本检索准确率落差最高可达 40 个百分点。
深度见解
它提示平均分很高的长文本模型可能存在周期性弱点,平均基准难以为长上下文稳定性提供可靠依据。
DeepSeek 长文本为何突然“抽风”?字节 Seed 团队揭开 AI 性能波动谜团

AIbase基地
发布于AI新闻资讯 · 1 分钟阅读 · Oct 9, 2026
19
字节跳动旗下 Seed 团队在 最新 的研究论文中,揭示了大语言模型在处理超长文本时出现性能波动的技术原因。研究团队指出,这一现象主要源于分块 KV 缓存压缩技术所带来的“相位敏感性”。