CLM让大模型自主管理上下文
AI 总结
InfoQ 中文 AI&大模型 报道，Meta、麻省理工学院与华盛顿大学研究人员提出上下文语言模型（CLM），将上下文视为可编辑文件，使模型能够改写消息、保留重要事实、删除无关信息并维护进度记录。研究人员测试了零样本、上下文学习和强化学习三种方式；据报告，CLM 在 BrowseComp-Plus 上准确率提升11.4%、浮点运算量减少21.5%，强化学习方案则使 Qwen3.5-9B 的准确率从28.8%升至42.5%，同时减少12%的浮点运算量。文章同时指出，CLM 存在信息丢失、提示词注入持续留存、缓存失效及上下文决策错误等风险。
深度见解
CLM 为预定义摘要、压缩和检索之外的自适应上下文管理提供了研究方案，并在多项基准测试中报告了性能与计算效率提升。
Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型（Context Language Model，CLM），一种使语言模型能够自主管理和编辑自身上下文的新方法"。该方法不再依赖预定义的摘要、压缩和信息检索机制，在性能和计算效率方面均取得显著提升。
研究人员实现了一种让 LLM 自主管理上下文的机制，将上下文视为一个可以无限制更新的文件。这种方法为传统的上下文管理策略提供了一种替代方案，传统策略（如压缩、外存卸载和检索）用于防止上下文无限增长，但各有局限。摘要可能会丢失关键细节或引入错误，压缩通常使用预定义的规则集，而外部存储则需要智能体决定哪些信息需要重新载入上下文。
#Meta#MIT#University of Washington#Context Language Model (CLM)#Qwen3.5-9B#BrowseComp-Plus#EdgeBench#ContextBench