大模型主流微调框架概述一、主流微调框架选择原因主流微调框架社区活跃，遇到问题便于查找解决方案。建议在了解基础框架原理的基础上，尝试大模型原生微调方式，加深理解。框架名称概

目录 前言 3 phase-3: RLHF Finetuning 3.1 训练数据样例 3.1 基本数据 3.2 经验数据 3.2 训练过程 3.3 关键代码详解 3.3.1 读取数据集及Datacollator 3.3.1.1 promp

写在最前面 本文最早写于2023年4月的这篇文章中《从零实现带RLHF的类ChatGPT：从TRLChatLLaMAColossalChat到DeepSpeed Chat》，后因要在「大模型

近期对大模型的微调突然很感兴趣，便去下载了个通义千问的7B模型来玩，但由于window对一些环境的不支持（比如deepspeed，适配linux但是不适