DeepSeek-V4 的周期性盲点：信息换个位置，检索准确率差 40 个百分点

发生了什么

字节跳动 Seed 团队 9 月 28 日在 arXiv 发布论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》（arXiv:2609.36322），10 月 9 日量子位做了报道。论文研究的是分块 KV 缓存压缩：把连续的若干个 token 按固定步长压成更少的缓存条目，以降低长上下文推理的显存与注意力开销。DeepSeek-V4 系列用的就是这种做法。

论文给这种压缩带来的新坐标起了名字，叫相位：一个 token 相对于压缩窗口边界的位置。研究者的发现是，同一条信息放在某个相位上很容易被找回，放在另一个相位上就明显变难。

一个代码补全的例子

研究者从 DeepSeek-V4 官方推理代码里截取一段 FP8 量化函数，让 DeepSeek-V4-Flash-Base 补全最后一个 token，正确答案是 8。代码不变，只在前面加一段装饰性的文档字符串，调整其中等号的个数：

• 填充长度除以 4 余 0 或 1 时，模型给错误答案 32 的平均概率是 71.3%，给 8 的只有 26.4%
• 余 2 或 3 时反过来，8 的概率升到 91.5%，32 只剩 7.2%

前面多两个无关字符，答案就会翻转，而且以 4 个 token 为周期反复。

长上下文检索：差距有多大

在 128K token、约 1.6 万个键值对的检索测试里，问题、内容与总长度都不变，只移动目标信息相对压缩窗口的位置。各相位之间的最大准确率差距：

• DeepSeek-V4-Flash-Base：40.2 个百分点
• DeepSeek-V4-Pro-Base：34.8 个百分点
• 后训练后的 DeepSeek-V4-Flash-0731：19.1；DeepSeek-V4-Pro-0813：14.8
• DeepSeek-V4.1-Flash-0910：6.1

差距在缩小，但没有消失。V4 的起伏周期是 4 个 token，V4.1 是 2 个，与两代模型各自的压缩步长一致。

不是某个模块的问题

为了排除巧合，团队以 Qwen3-0.6B 的结构为基础从头训练了一批模型，只改压缩方式，并用不压缩的全注意力模型做对照：

• 所有分块压缩的变体都出现了周期性，周期跟着压缩步长走（4、6、8）
• 全注意力的对照组没有同等程度的周期
• 去掉 RoPE 位置编码、把可学习的压缩权重换成简单平均，现象依然存在

对注意力头做因果干预后，他们发现不同的头分别擅长不同相位，论文称之为相位专门化；简化的理论模型显示，训练时的梯度流会把压缩模块推向稳定的位置偏好。所以这不是随机噪声，而是这种压缩设计本身带来的。

对读者意味着什么

1. 用 DeepSeek-V4 一类分块压缩模型做长上下文检索时，一个看起来不错的平均准确率，可能是若干个好位置和坏位置平均出来的。
2. 评测这类模型，要把同一条信息放到不同相位上各测一遍，看最差的那个相位，而不只看平均。
3. 新一代模型和后训练确实在缩小差距，换代时值得重测；压缩省下的显存仍然真实，论文并不主张放弃压缩。