Qwen3-32B微调问答数据构建指南
AI 总结
这篇教程讲解如何为经过LoRA增量预训练的Qwen3-32B构建问答微调数据集,涵盖人工标注、知识库辅助生成、模型蒸馏、结构化数据转换和真实场景数据回流。文中还给出规则筛选、近似与语义去重、模型评分、污染检查等统一质检流程及部分代码示例。
深度见解
文章提供了一套可落地的专业领域SFT数据构建方案,强调来源可追溯、强制引用、允许拒答和人工复核,以提高微调数据的可靠性。
前言
上篇文章大模型训练全流程实战指南实战篇(十七)—— LlamaFactory 预训练实战:从语料到模型中,笔者使用76457条、约926M tokens的预训练数据集,完成了Qwen3-32B的LoRA增量预训练,并选定checkpoint-6250作为下一阶段的基座模型。
经过增量预训练后的基座模型有一个典型特点:面对用户提问时,它的回答更像“顺着文档继续写”,而不是“精准回答用户的问题”。例如,当用户提出:
我有一台对外暴露的 Redis 6.2,怀疑存在未授权访问。请告诉我怎么确认、具体改哪些配置、改完怎么验证。
增量预训练后的模型可能给出如下回复:
Redis 是一个广泛使用的高性能内存数据库,常用于缓存、消息队列和会话存储。由于默认配置较为宽松,
如果 Redis 直接暴露在公网,容易发生未授权访问漏洞。攻击者可以利用未授权访问写入恶意文件、植入
挖矿程序、窃取数据,甚至进一步控制服务器。建议用户设置强密码、绑定内网地址、禁用危险命令、
配置防火墙,并定期进行安全巡检。同时应关注 Redis 官方安全公告,及时升级到最新版本。