Cortex:把上下文固化进参数化记忆
arXiv 技术报告《Cortex: Consolidating Context into Parametric Memory》于 2026 年 10 月 14 日提交,作者为 Jintian Zhang、Feng He、Xinnian Liang、Ningyu Zhang 等八人。论文把“记忆固化”定义为在保留非目标任务能力的前提下,将上下文带来的性能增益内化到模型参数中,并提出一个覆盖五类任务、可在单次、批量与顺序更新下测量固化效果与保留率的测试平台。作者提出的 Cortex 方法会生成前瞻性查询以预判上下文的用途,再把依赖上下文的输出蒸馏为可合并的低秩或结构化前馈网络更新。作者报告称,在 4B–120B 的稠密与混合专家骨干网络(含纯文本与多模态模型)上,Cortex 在多数评测设置中处于固化–保留的帕累托前沿;在 14B 模型上连续做 50 次事实编辑后,Cortex-Structural 恢复了 88.9% 的上下文增益,同时保留 99.8% 的原始非目标性能。上述数据均为作者自报,尚未见到独立复现。
报告指出,上下文虽能提升大模型表现,但上下文移除后这些增益可能丢失;因此把增益固化进参数、同时不损害原有能力,是该方法试图解决的核心问题。
Computer Science > Computation and Language
arXiv:2610.20399 (cs)
[Submitted on 14 Oct 2026]
Title:Cortex: Consolidating Context into Parametric Memory
Authors:Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang
View a PDF of the paper titled Cortex: Consolidating Context into Parametric Memory, by Jintian Zhang and 7 other authors