字节论文揭示 DeepSeek V4 分块压缩周期性盲区
AI 总结
字节跳动团队论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》指出，DeepSeek V4 系列采用的分块 KV Cache 压缩会带来“相位敏感性”：只在代码前加不同数量的装饰性等号，DeepSeek-V4-Flash-Base 的补全结果就在 8 与 32 之间摆动——等号数除以 4 余 0 或 1 时错误率约 71.3%，余 2 或 3 时正确率约 91.5%。在 128K token、约 1.6 万个键值对的“大海捞针”测试中，同一键值对换位置后，V4-Flash-Base 准确率最大差 40.2%，V4-Pro-Base 差 34.8%，后训练优化后仍分别有 19.1% 和 14.8%；DeepSeek-V4.1-Flash 把压缩步长由 4 降到 2，差距收窄至 6.1% 但未根除。团队用 Qwen3-0.6B 架构做对照训练，发现只要采用固定长度分块压缩就会周期性波动，全注意力基线则没有，说明这是方案结构缺陷而非调参问题。
深度见解
对用长上下文做合同审阅、代码补全等任务的团队来说，这提醒分块 KV 压缩在压低成本的同时，可能带来与位置相关的信息丢失风险。