创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

Cortex:把上下文固化进参数化记忆

AI 总结

arXiv 技术报告《Cortex: Consolidating Context into Parametric Memory》于 2026 年 10 月 14 日提交,作者为 Jintian Zhang、Feng He、Xinnian Liang、Ningyu Zhang 等八人。论文把“记忆固化”定义为在保留非目标任务能力的前提下,将上下文带来的性能增益内化到模型参数中,并提出一个覆盖五类任务、可在单次、批量与顺序更新下测量固化效果与保留率的测试平台。作者提出的 Cortex 方法会生成前瞻性查询以预判上下文的用途,再把依赖上下文的输出蒸馏为可合并的低秩或结构化前馈网络更新。作者报告称,在 4B–120B 的稠密与混合专家骨干网络(含纯文本与多模态模型)上,Cortex 在多数评测设置中处于固化–保留的帕累托前沿;在 14B 模型上连续做 50 次事实编辑后,Cortex-Structural 恢复了 88.9% 的上下文增益,同时保留 99.8% 的原始非目标性能。上述数据均为作者自报,尚未见到独立复现。

深度见解

报告指出,上下文虽能提升大模型表现,但上下文移除后这些增益可能丢失;因此把增益固化进参数、同时不损害原有能力,是该方法试图解决的核心问题。

Computer Science > Computation and Language

arXiv:2610.20399 (cs)

[Submitted on 14 Oct 2026]

Title:Cortex: Consolidating Context into Parametric Memory

Authors:Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang

View a PDF of the paper titled Cortex: Consolidating Context into Parametric Memory, by Jintian Zhang and 7 other authors

#Cortex#Cortex-Structural

原文约 2 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。