MemT 1.0 – 记忆张量开源的业内首个记忆原生基座模型

1. MemT 1.0是什么

MemT 1.0是记忆张量（MemTensor）团队推出的业内首个记忆原生（Memory-Native）基座模型，已全面开源。该模型摒弃了传统大语言模型依赖外部检索或重复注入历史文本的方式，而是将历史信息编码为可持续更新的内部记忆状态，使模型能够在推理计算过程中直接读写记忆。MemT 1.0包含Flash（288B参数/17B激活）和Nano（36B参数/3B激活）两个版本，在11项记忆基准上位列参数化记忆方法前二，长历史场景下推理速度最高提升约4倍，存储占用降至完整上下文的1/66，为Agent长期陪伴与递归自我改进奠定了架构基础。

技术定位与领域： MemT 1.0属于大语言模型架构创新领域，聚焦于解决长上下文处理中的记忆持久化与高效推理问题。其独特定位在于将记忆能力内化为模型参数的一部分，而非依赖外部向量数据库或检索增强生成（RAG）等外挂方案，代表了从"外挂记忆"向"原生记忆"的范式转变。

研发背景： 由记忆张量团队开发，该团队在高效序列建模和状态空间模型领域有深厚积累。MemT 1.0的研发动机源于对现有Transformer架构在长历史场景下计算成本线性增长、上下文窗口受限等瓶颈的深入分析，旨在通过架构级创新突破这些限制。

核心价值： 解决了大语言模型在长期交互中"记不住"和"记不起"的两大痛点。传统模型要么因上下文窗口有限而丢失早期信息，要么依赖RAG检索带来额外延迟和成本。MemT 1.0通过内部记忆状态实现历史信息的持续累积与高效调用，使Agent能够跨会话延续经验，同时大幅降低长历史场景下的推理成本和存储开销。

技术特点： 采用记忆原生架构，在Transformer模块中并联插入原生记忆模块，使原注意力与记忆注意力并行运行。通过Gated DeltaNet-2更新机制实现逐token的记忆写入与遗忘控制，并采用两阶段训练策略（200亿token持续预训练+140亿token后训练）建立依赖记忆的语言建模能力，实现通用能力基本无损的前提下获得记忆能力。

2. 主要功能

• 记忆原生存储： 将历史信息编码为模型内部的持续记忆状态，而非存储在外部数据库中。查询时无需提供原始历史文本，模型直接从内部记忆状态读取信息，摆脱了传统RAG方案对检索模块的依赖，显著降低系统复杂度和查询延迟。

• 逐token记忆更新： 每轮交互结束后，模型通过commit操作自动将本轮输入与回答逐token写入动态记忆状态。支持擦除、写入与遗忘的精细控制，通过四种门控机制分别调节旧关联调整、新信息注入、保留强度和记忆对回答的影响，实现类似人类记忆的选择性保留。

• 记忆容量扩展： 通过Mixture-of-Storage混合存储机制，以多记忆专家（Memory Experts）实现记忆容量的独立扩容。当需要处理更长历史或更大知识量时，可通过增加记忆专家数量来扩展容量，而无需重新训练整个模型，为不同规模的应用场景提供了灵活配置空间。

• 长期经验复用： Agent可复用过往的解题方法、失败模式与验证流程。在SWE-bench代码修复基准上，MemT 1.0的成功率提升约3个百分点，表明模型能够将此前任务中积累的经验有效迁移到新任务中，实现"越用越聪明"的持续进化能力。

• 跨会话记忆延续： 记忆状态可序列化保存与恢复，绑定用户或任务轨迹，实现长期连续使用。这意味着Agent在不同会话之间能够保持对用户偏好、历史对话和任务进度的记忆，无需每次从头开始，为长期陪伴型应用提供了技术基础。

• 高效推理： 长历史场景下端到端推理速度提升最高约4倍，持久化存储仅占完整上下文的1/66，且不随历史增长而扩大。记忆状态大小固定，无论历史多长，推理计算开销保持稳定，从根本上解决了长上下文场景下计算成本线性增长的问题。

3. 如何使用

1. 获取模型： 从GitHub仓库（https://github.com/MemTensor/MemT-1.0）或HuggingFace模型库（https://huggingface.co/collections/MemTensor/memt-1）下载MemT-1.0-Flash或MemT-1.0-Nano的模型权重。Flash版本需更高显存配置，建议使用A100/H100等80GB显存GPU；Nano版本则可在消费级显卡上运行。

2. 部署模型： 在本地或服务器上加载模型。Flash版本（288B参数/17B激活）建议配置8×A100或等效算力资源；Nano版本（36B参数/3B激活）可在单张A100或RTX 4090上运行。支持主流深度学习框架，需确保CUDA版本与PyTorch环境兼容。

3. 绑定记忆轨迹： 为每个用户或任务创建独立的交互轨迹，分配专属的记忆状态槽位。系统通过轨迹ID区分不同会话的记忆空间，保证不同用户间记忆严格隔离，避免数据串扰和隐私泄露。

4. 写入记忆： 每轮对话结束后，调用commit操作让模型自动将本轮输入与回答逐token写入动态记忆状态。该过程由Gated DeltaNet-2机制控制，通过擦除、写入、遗忘、输出四种门控精细调节记忆内容的保留与更新。

5. 读取记忆： 下一轮提问时，模型在前向计算中直接读取记忆状态生成回答，无需在输入中拼接历史文本。这一过程与普通推理融合，不引入额外检索步骤，保持推理效率。

6. 跨会话延续： 将记忆状态序列化保存到外部存储（如本地文件或数据库），下次会话时恢复该状态即可延续此前积累的经验。建议定期备份记忆状态，并建立记忆版本管理机制以应对异常情况。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要长期陪伴、跨会话记忆延续和递归自我改进的Agent应用场景，MemT 1.0的记忆原生架构具有明显优势，其固定大小的记忆状态和高效推理特性非常适合高频交互场景。MemT 1.0与MemOS可视为互补关系——MemOS的明文记忆加上MemT的参数化记忆可组成完整链路，这一方向已被团队规划为MemOS 3.0的发展方向。

对于需要高保真记忆细节或对记忆可审计性有严格要求的场景（如法律、医疗等），MemOS或传统RAG方案仍具优势。而对于单轮长文档处理任务，LongContext模型可能更直接适用。实际选型应综合考虑记忆保真度、推理效率、部署成本和可解释性等多维因素。

6. 编辑总结

MemT 1.0代表了大型语言模型记忆机制的一次架构级创新。从技术角度看，其核心价值在于将记忆从"外挂模块"转变为"原生能力"——通过Gated DeltaNet-2更新机制和双层记忆结构，模型能够在推理过程中直接读写内部记忆状态，这一设计从根本上解决了传统方案中记忆检索延迟和上下文成本线性增长的问题。两阶段训练策略（200亿token持续预训练+140亿token后训练）确保了模型在获得记忆能力的同时保持通用能力基本无损，这在技术实现上具有较高难度，体现了团队在模型架构和训练方法论上的积累。

从实用价值看，MemT 1.0的记忆原生架构为Agent长期陪伴、经验复用和递归自我改进提供了切实可行的技术基础。跨会话记忆延续能力使Agent能够"越用越聪明、越用越便宜"，而记忆主权归部署方的设计让企业能够沉淀自有记忆资产，这些特性在商业化场景中具有明确价值。SWE-bench成功率提升约3个百分点的数据表明，记忆能力确实能够转化为实际任务性能的提升。

适用人群方面，MemT 1.0适合三类开发者：一是构建长期陪伴型应用的Agent开发者，二是需要跨会话经验积累的编程助手团队，三是对数据主权和隐私隔离有严格要求的企业用户。Nano版本降低了入门门槛，Flash版本则面向高性能场景。

未来发展潜力上，MemT 1.0的架构为记忆能力与推理能力的深度融合打开了空间。随着记忆容量扩展机制（Mixture-of-Storage）的完善和记忆可解释性研究的推进，记忆原生模型有望在更多垂直领域落地。团队规划的MemOS 3.0方向（明文记忆+参数化记忆结合）也值得关注，这可能成为下一代记忆系统的演进方向。

7. 应用场景

• 长期陪伴型个人助理： 跨会话记住用户偏好、习惯和过往对话，实现越用越懂你的连续陪伴体验。例如，个人助理能够记住用户此前讨论过的旅行计划、饮食偏好和日程安排，在新会话中无需用户重复说明即可提供个性化服务，显著提升交互自然度和用户黏性。

• 编程Agent经验复用： 将问题复现方法、失败模式和验证流程写入记忆，指导后续任务。在SWE-bench基准上成功率提升约3个百分点，意味着编程Agent能够从历史调试经验中学习，遇到类似bug时更快定位问题，减少重复试错成本，提升开发效率。

• 企业智能客服： 客服Agent记住每位客户的历史沟通记录与服务进度，无需重复询问，且记忆资产沉淀在部署方而非模型厂商。这既提升了客户体验（无需反复描述问题），又保护了企业数据主权，避免客户数据流向第三方模型服务商。

• 长周期项目协作： 在跨天、跨周的项目中持续积累上下文，不再因上下文窗口耗尽而重开项目、从头再来。项目团队成员可以与Agent保持连续协作，Agent能够记住项目背景、决策记录和待办事项，有效支撑复杂项目的长期推进。

• 科学研究与递归自我改进（RSI）： AI将每次试错的有效成果保留为记忆，作为下一轮自我优化与代码改进的基础。在算法调优、实验设计和代码生成等场景中，AI能够积累有效策略并规避已知失败模式，实现自我进化的闭环。

8. 常见问题FAQ

Q：MemT 1.0与传统RAG方案的本质区别是什么？
A：传统RAG方案将记忆存储在外部向量数据库中，查询时需要先检索相关文本再注入上下文，存在检索延迟和信息召回不完整的问题。MemT 1.0则将历史信息编码为模型内部的参数化记忆状态，模型在前向计算中直接读写记忆，无需外部检索步骤，从根本上摆脱了对外挂检索系统的依赖。

Q：MemT 1.0的记忆容量有多大？能记住多少内容？
A：MemT 1.0通过Mixture-of-Storage混合存储机制，以多记忆专家实现容量的独立扩容。具体容量取决于记忆专家的数量和配置，可通过增加记忆专家来扩展。在256K token历史的测试场景下，模型表现出稳定的记忆能力，且记忆状态大小固定，不随历史增长而扩大。

Q：记忆状态是否会占用大量存储空间？
A：不会。MemT 1.0的持久化存储仅占完整上下文的1/66，且不随历史增长而扩大。例如，256K token的历史信息压缩后仅需极小的存储空间，这对于长期运行的应用场景而言，存储成本几乎可以忽略不计。

Q：多个用户之间的记忆是否会互相干扰？
A：不会。系统通过绑定记忆轨迹的方式为每个用户或任务创建独立的交互轨迹，分配专属的记忆状态槽位，保证不同用户间记忆严格隔离。这一设计既保护了用户隐私，也避免了数据串扰问题。

Q：MemT 1.0的通用能力是否会因引入记忆机制而下降？
A：不会。在无关记忆噪声下，MemT 1.0的指令遵循、代码生成、长文本理解等能力与原主干基本持平甚至略有提升。两阶段训练策略（200亿token持续预训练+140亿token后训练）确保了模型在获得记忆能力的同时保持通用能力。

Q：记忆状态是否支持导出和迁移？
A：支持。记忆状态可序列化保存到外部存储，并可恢复以延续此前积累的经验。这意味着记忆资产可以备份、迁移和在不同部署环境间转移，为企业的记忆资产管理和模型升级提供了灵活性。

Q：Nano版本和Flash版本的主要区别是什么？
A：Flash版本（288B参数/17B激活）记忆能力更强，在11项记忆基准上平均得分50.6，位列参数化记忆方法第一；Nano版本（36B参数/3B激活）平均得分47.0，位列第二，但部署门槛更低，适合资源受限的环境。两者共享相同的架构设计，可根据硬件条件和性能需求选择。

9. 项目地址

• GitHub仓库：https://github.com/MemTensor/MemT-1.0
• HuggingFace模型库：https://huggingface.co/collections/MemTensor/memt-1
• arXiv技术论文：https://arxiv.org/pdf/2610.26825