创建

登录 ReadmeX

或

了解我们如何处理你的信息: 隐私政策

ReadmeX

陪你读懂 AI 动态

今天,想先了解什么?

选一份动态总结,或直接聊聊你的问题。

社区和关注动态总结只属于你自己。

资讯

何时应先做中期训练再强化学习

AI 总结

一篇微信文章认为,当模型只能偶尔完成某项任务时,强化学习更适合用于提升稳定性;但若模型缺少语言、领域、代码或长文档理解等基础能力,则可能需要中期训练,也就是继续预训练。文章建议用 pass@k 区分模型表现不稳定与根本缺少相关能力,并提出五个步骤:识别能力缺口、准备信息充分的数据、混合不同类型的数据、回放既有知识,以及通过评测决定何时停止。文章同时提醒,中期训练可能导致灾难性遗忘;对于经常变化或需要提供原始出处的信息,则建议使用 RAG。

深度见解

文章为中期训练、强化学习和 RAG 的选择提供了一套实用框架,并明确给出诊断能力缺口、准备训练数据、监测遗忘和选择检索增强方案的方法。

原文:mp.weixin.qq.com/s/F7j4xss6a…(2026年10月12日)

01.png

先看一个很常见的困惑。

你让模型用法语写一段营销文案,它张口就来,但语法全错;你让它读懂公司的内部协议,它一本正经地胡说;你给它一份超长合同,它读了后面忘了前面。你把提示词改了又改、又给它挂了个资料库,效果还是不行。

于是你想:是不是该“强化学习微调”一下?

但答案往往是:别急。 这些问题有一个共同的根源——这些东西,模型的基础能力里压根没学过。 而 RL 最不擅长的,恰恰就是“凭空学会它从没学过的东西”。

#Mistral#Mistral 7B

原文约 6 分钟读完阅读原文
群聊

还没有评论,来说说你的看法。