何时应先做中期训练再强化学习
AI 总结
一篇微信文章认为,当模型只能偶尔完成某项任务时,强化学习更适合用于提升稳定性;但若模型缺少语言、领域、代码或长文档理解等基础能力,则可能需要中期训练,也就是继续预训练。文章建议用 pass@k 区分模型表现不稳定与根本缺少相关能力,并提出五个步骤:识别能力缺口、准备信息充分的数据、混合不同类型的数据、回放既有知识,以及通过评测决定何时停止。文章同时提醒,中期训练可能导致灾难性遗忘;对于经常变化或需要提供原始出处的信息,则建议使用 RAG。
深度见解
文章为中期训练、强化学习和 RAG 的选择提供了一套实用框架,并明确给出诊断能力缺口、准备训练数据、监测遗忘和选择检索增强方案的方法。
原文:mp.weixin.qq.com/s/F7j4xss6a…(2026年10月12日)
先看一个很常见的困惑。
你让模型用法语写一段营销文案,它张口就来,但语法全错;你让它读懂公司的内部协议,它一本正经地胡说;你给它一份超长合同,它读了后面忘了前面。你把提示词改了又改、又给它挂了个资料库,效果还是不行。
于是你想:是不是该“强化学习微调”一下?
但答案往往是:别急。 这些问题有一个共同的根源——这些东西,模型的基础能力里压根没学过。 而 RL 最不擅长的,恰恰就是“凭空学会它从没学过的东西”。