ChatGLM垂直领域微调完整流程
这篇掘金教程介绍了使用 PEFT-LoRA 将 ChatGLM3-6B 适配到垂直行业业务场景的完整流程。内容涵盖需求分析、模型配置、业务数据获取与清洗、ChatGLM 对话模板、Tokenize、训练验证集划分及 PyTorch DataLoader 构建,并提供可用于准备训练数据的代码。文章还建议保持训练与推理提示模板一致,并采用人工评分与 Rouge 进行评估。
教程系统整理了开展 ChatGLM 垂直领域微调所需的模型适配和数据处理环节,为构建清洁问答数据及训练输入链路提供了实用参考。
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
摘要:开源大模型ChatGLM在通用场景表现优秀,但直接落地行业业务往往效果不尽人意。本文完整记录垂直领域微调全流程:项目业务需求分析、技术选型、ChatGLM模型改造思路、数据集建设、原始数据获取、文本预处理Tokenize、DataLoader数据加载器封装,附带完整可运行代码,帮助完成从业务需求到模型训练输入链路的搭建。
前言
ChatGLM系列作为国内开源较早的对话大模型,凭借不错的中文能力,被广泛用于企业内部知识库、客服问答、行业咨询等垂直业务。 通用预训练模型掌握通识知识,但缺少行业专有术语、业务逻辑、内部业务话术,直接提问经常出现答非所问、幻觉、回答不符合业务规范等问题。想要适配业务,就需要基于自有业务数据做微调。
微调完整流水线大致分为: 业务需求分析 → 技术方案选型 → ChatGLM模型针对性改进 → 业务数据获取 → 数据清洗处理 → Tokenizer文本编码 → 构建数据加载器 → 送入模型训练。 本文聚焦前面七大环节,完成训练数据侧完整工程实现。
#ChatGLM3-6B#PyTorch#Hugging Face Transformers#Hugging Face datasets#PEFT#TRL SFTTrainer#bitsandbytes