字节Seed发现DeepSeek-V4存在相位敏感性
AI 总结
字节跳动Seed团队在一篇论文中指出,向同一道题目前面加入少量无关字符,DeepSeek-V4的答案会随填充长度以4个Token为周期反复变化:在补全FP8量化代码时,错误答案32与正确答案8的倾向随位置翻转,某些位置错误答案平均概率达71.3%,另一些位置正确概率升到91.5%。在128K Token的“大海捞针”检索测试中,键值、问题和总长度都不变,仅改变目标信息在上下文中的位置,DeepSeek-V4-Flash-Base的准确率最大差距达40.2个百分点,V4-Pro-Base为34.8个百分点。研究者把原因指向模型采用的分块KV Cache压缩,其周期与压缩步长一致;他们用基于Qwen3-0.6B训练的多组压缩方案与全注意力基线对照,只有分块压缩模型出现同类周期。后训练与新版本缩小了差距(V4-Flash-0731为19.1、V4-Pro-0813为14.8、V4.1-Flash-0910为6.1个百分点),但周期性依然存在。
深度见解
如果该现象成立,常规汇总平均分的评测方式可能掩盖长上下文模型在特定输入位置上的检索弱点,评估分块KV Cache压缩模型时应按相位分别测试。
DeepSeek的神鬼二象性被字节Seed团队逮到了。
同一道题,什么都没改,只在前面多塞几个无关紧要的字符,模型突然就不会了???
而且还不是偶尔抽风。
Seed研究人员发现,DeepSeek-V4的表现竟然会随着信息的输入位置,每隔4个Token周期性变化。
啥意思?模型记不记得住一件事,居然还要看这件事在输入里站哪儿??