LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令→加载数据→模型训练(四种方式微调+DeepSpeed封装数据并行)+模型保存(定期输出lo_chatglm模型保存

作者：小小林熬夜学编程 | 2024-04-06 23:50:18

踩

chatglm模型保存

LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令行(模型路径+数据集相关【最大序列长度/最大输入长度】+训练参数相关【批次大小/学习率/权重衰减系数/训练轮数/梯度累计步数/学习率预热比例】+

导读：本代码文件实现了加载数据、定义预训练模型，根据不同的训练类型进行微调，使用DeepSpeed来进行分布式高效训练(利用deepspeed封装数据并行,以及通过step()和backward()实现优化器步进与反向传播)，并定期打印训练过程中的损失和保存模型。当前代码中不包含模型评估部分，可以自定义测试样本进行规则打分自行评估。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/375103?site