EngramEdit:条件记忆实现大模型知识解耦更新
AI 总结
一篇新论文提出 EngramEdit,基于 DeepSeek Engram 这类条件记忆架构(用输入 n-gram 查表学习嵌入、以较小计算代价扩充模型容量),把事实知识存储与通用计算解耦,从而在固定 Transformer 主干的前提下更新事实。方法先计算能让模型在多种表述下输出新事实的目标记忆表示,再联合更新共享 n-gram 嵌入,并对频繁复用的嵌入施加更强惩罚以保护无关知识。作者称实验实现了近乎完美的编辑成功率,改写后的知识可用于未见表述和多跳推理,在思维链提示下准确率约为最强基线的三倍,且随编辑累积,无关知识与通用能力基本保持。
深度见解
若结果可复现,这类可编辑的条件记忆为不重训模型、持续更新事实知识提供了一条可行路径。
Computer Science > Computation and Language
arXiv:2610.10533 (cs)
[Submitted on 7 Oct 2026]
Title:EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
Authors:Hongru Cai, Ran Wei, Wenjie Wang, Chengfa Wu, Ning Song, Yongqi Li, Wenjie Li
View a PDF of the paper titled EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory, by Hongru Cai and 6 other authors