训练GLM大模型_glm模型训练

作者：花生_TL007 | 2024-06-15 15:29:48

踩

glm模型训练

前言

训练GLM，第一次会花比较长时间解析数据集，大概30mins后报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x80 in position 0: invalid start byte

解决

这问题比较明显是数据集的问题，我这里使用的是arm机器，而数据集默认是用的x86格式；( UNIX 的换行符，即“\n”。Windows 则使用回车换行符，即“\r\n”)
所以使用dos2unix 00.jsonl 转换一下数据集文件即可

ps训练的流程：
准备数据集pile：由于网络限制，我只能从kaggle上面下载：
https://www.kaggle.com/datasets/dschettler8845/the-pile-dataset-part-00-of-29
代码仓链接：
https://github.com/THUDM/GLM

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/722814