把记忆写进模型里：MemT 1.0 开源，AI 终于能记住上次踩过的坑

用 AI 最让人崩溃的瞬间，往往不是它不会做，而是它刚被你教会，换个会话又忘了。你花半天纠正它把任务做对，下一次它还是踩进同一个坑。任务跑通了，经验却没有留下来。

10 月 20 日，记忆张量发布并开源 MemT 1.0 记忆原生大模型。它想解决的就是这件事：不让记忆停留在外挂的检索模块里，而是把读写、更新和调用记忆的能力，训练进模型本身。

一分钟速览

• MemT 1.0 把记忆内化进模型架构，而不是外挂向量库或聊天记录
• 每轮对话结束时以 token 级机制更新记忆状态，由模型自己学习取舍
• 采用固定体积记忆状态与 Mixture-of-Storage 架构，持续交互不无限膨胀
• 11 项记忆基准中，Flash 与 Nano 分别领先最强参数化记忆基线 12.5 分和 8.9 分
• SWE-bench Verified 上，运行时注入经验把平均成功率从 66.07% 提升到 69.73%

存下聊天记录，不等于拥有记忆

市面上多数所谓“记忆”方案，本质是把对话历史存起来，需要时再检索回来。这能应付“我上次说过喜欢什么”这类问题，却应付不了真实世界的动态变化：计划改期了、条件更新了、某个方案被否决了，检索模块很容易把旧信息和新信息混在一起。

MemT 1.0 的技术报告里有一个很硬的测试。用户先给出展览原定时间，随后敲定周日正式改期，中间还顺嘴提了一条未被采纳的周一备选方案。此后双方又聊了五百多轮、攒下约 6.6 万 token 的记录，期间再没提过展览。在完全脱离原始文本的“闭卷”状态下，模型依然准确报出了原定与改期时间，明确指出场地、票价和联系人未变，并把周日定论与周一备选分得清清楚楚。

记忆怎么被“练”出来

架构上，MemT 1.0 把模型的脑力拆成两块：一块负责当前的计算与推理，另一块负责维持记忆状态。每轮对话结束时，模型通过 token 级别的更新机制刷新记忆，哪些该留、哪些该改，由训练中学出的门控机制自主决断。后续对话和任务执行时，并行记忆注意力机制会提取这些状态，直接参与当前计算。

这种取舍能力靠数据练出来。团队喂了 340 亿 token：先用 200 亿 token 做继续预训练，让模型尝试用过去的片段预测未来；再用 140 亿 token 做后训练，请来更强的教师模型给记忆提取打分，用误差倒逼它改进。为了让固定体积的记忆装下更多细节，团队还引入了 Mixture-of-Storage 架构，让多位“记忆专家”分头掌管存储空间的读写分配。

跑分之外的细节

在 11 项系统记忆基准测试中，覆盖长期保留、动态更新、个性化理解等维度，历史跨度从 16K 一直到百万 token，全程闭卷作答的 MemT-1.0-Flash 和 MemT-1.0-Nano 均分分别达到 50.6 和 47.0，领先同组最强参数化记忆基线 12.5 分和 8.9 分。消融实验也说明训练与架构都在起作用：拿掉后训练，Nano 的均分从 47.0 掉到 36.3；把记忆专家从 2 个扩到 4 个，均分最高提升 2.7 分。

更有意思的是两个小细节。在一段约 16K token 的历史里，用户问起自己的生日，而这个问题从未被提供过，模型老实回答不知道，没有编造。在另一段 3.3 万 token 的对话里，模型需要根据很早之前定下的规矩判断两个人谁有资格领工具箱，它准确核对了徽章与登记状态，判定一人合规、一人未登记。知道就是知道，不知道就说不知道，这才是可用助理的及格线。

经验能不能改变下一次动手

团队进一步在真实编程场景里搭了一条“任务产生反馈、提炼沉淀经验、再改善后续任务”的链路。先从数万条成功轨迹中提炼出上千条可复用经验，再让模型跑任务，一旦遇到命令报错、空返回或重复无效操作，就在卡壳处注入匹配经验重跑，最终筛出 4.2 万余条“没经验时做错、补上经验后成功”的样本用于训练。

在 SWE-bench Verified 的 500 项任务上，提前写入经验的 Nano 平均成功率从 66.07% 升到 69.33%，三次全成率从 54.00% 提到 61.60%。而在更接近实战的模式下，模型先独立做题，只有系统发现它报错、空返回或连续三次原地打转时，才把排错经验写进内部记忆，平均成功率进一步升到 69.73%，三次全成率 62.80%，双双超过把经验直接塞进上下文的对照组。跨九种编程语言、300 项任务的 SWE-bench Multilingual 上，同样的机制把平均成功率从 60.00% 提升到 63.56%，三次全成率从 45.33% 提升近 10 个百分点。

这一步的意义在于，记忆不再只是“记住用户说过什么”，而是“记住自己怎么失败过”。对长期运行的智能体来说，后者可能更值钱。当然，固定体积的记忆状态也意味着取舍：装得下多少、忘掉什么、如何避免错误经验被反复强化，这些问题还需要在真实业务里继续验证。