CurvDelta兼顾模型适配与能力保留
AI 总结
Zeguan Xiao等六位作者提交的研究论文提出CurvDelta,将能力保留约束直接纳入模型参数更新,并通过低曲率几何、K-FAC和因子化投影实现。论文还提出低秩版本CurvLoRA;作者称,该方法在数学推理、代码生成以及TOFU和MUSE知识遗忘任务中,在提升目标能力或定向遗忘的同时更好地保留通用能力。
深度见解
这项工作聚焦大语言模型适配的核心难题:模型完成目标任务或移除特定知识时,如何减少对通用能力的损伤。
Computer Science > Computation and Language
arXiv:2611.24654 (cs)
[Submitted on 18 Nov 2026]
Title:CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning
Authors:Zeguan Xiao, Zhuocheng Liang, Yun Chen, Yong Wang, Guanhua Chen, Pinyan Lu
View a PDF of the paper titled CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning, by Zeguan Xiao and 5 other authors