记忆张量开源 MemT 1.0：把记忆原生写进 Transformer

发生了什么

记忆张量开源了 MemT 1.0 系列模型，主打「记忆原生」：不把历史经验塞回上下文，而是在模型内部为经验留出一条可训练的通路。团队称这是记忆原生模型首次实现近 300B 参数规模的工程验证，论文编号为 arXiv:2610.26825，代码与权重分别放在 GitHub 和 HuggingFace 上。

具体内容

本次放出两个型号：

1. MemT-1.0-Nano，总参数 36B、激活 3B，基座为 Qwen3.6-35B-A3B。
2. MemT-1.0-Flash，总参数 288B、激活 17B，基座为经过进一步后训练的 DeepSeek-V4-Flash。

架构上，模型保留基座原有计算流程，在选定的 Transformer 模块里加入一条与注意力并行的记忆分支，拆成三层：承载通用能力且在训练记忆时冻结的主干权重、包含读写投影与门控等可训练参数的超记忆、以动态矩阵状态保存新信息的局部记忆。写入时由隐状态投影出记忆键值，用擦除、写入、遗忘门控调节已有关联；读取时把当前输入映射为记忆查询，归一化并经输出门控后与注意力输出融合。更新机制基于 Gated DeltaNet-2 做逐 Token 生成，并在每轮结束后触发一次。

为应对记忆容量扩张，团队还提出 MoS（Mixture-of-Storage）：把单个记忆原生模块扩成多个记忆专家，采用稠密融合，所有专家都参与计算，由路由权重决定各自贡献，这点与基座 MoE 的稀疏路由不同。

训练侧共构建了 340 亿 Token 的记忆语料，其中继续预训练 200 亿、后训练 140 亿。继续预训练的格式是先把长文本切成连续片段写入记忆，再让模型带着记忆状态回答查询；后训练包含记忆原生语言建模、记忆存储与利用（摘要、续写、压缩等）以及强化长程记忆的任务数据，并以冻结的主干作为教师，沿 off-policy 蒸馏让学生对齐教师分布。

与以往相比

外部记忆的做法是把记忆原文或检索证据放回上下文。MemT 1.0 让经验参与训练，成为可更新、可读取的内部状态。代价是精确删除、解释与恢复需要额外机制，文本记忆在长历史细节召回上仍有优势。

评测数据：

• SWE-bench Verified 的 500 项任务各跑三次，Nano 在关键断点的平均成功率为 69.73%，无经验基线 66.07%，文本经验组 69.13%；三次全部成功的比例从 54.00% 升到 62.80%，文本经验组为 61.80%。
• SWE-bench Multilingual 上，原生记忆组平均成功率 63.56%，无经验组 60.00%，文本经验组 63.00%。
• 11 项记忆基准的综合评估中，Flash 与 Nano 平均得分分别为 50.6 和 47.0，在参与评估的参数化记忆方法中列前两位。
• 消融实验把逐 Token 更新换成整轮聚合后，Nano 的记忆基准平均分从约 47.0 降到 41.0。
• 在 128K 长历史下，Nano 的端到端推理速度约为完整上下文方案的 1.86 倍，每条轨迹的持久状态占用是完整上下文 KV Cache 的六十六分之一。

对读者意味着什么

1. 如果你的智能体要在长会话里复用经验，可以先看它的状态占用与推理速度数字，再决定是否值得把记忆从上下文层挪到模型层。
2. 如果关注持续学习或自我改进，这条信号把「记忆」当作三块拼图中的第一块，值得跟踪后续反馈与验证环节如何接上。
3. 记忆原生与外部文本记忆并非互斥，涉及精确原文、来源和版本的查询仍适合走外部记录。