赞
踩
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此,本教程不同文字或理论介绍内容,而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读,助力大模型使用。
本篇文章说明huggingface类Trainner部分参数来源与解读,提供一个参数查看模板。
上一章,我们介绍了huggingface的TrainingArguments与trainner参数,仅从使用上给出说明。这里,我们从源码角度来说明参数来源或huggingface如何构建。
我们从Trainer类的init函数中找到self.args参数代码(如下)。正如上一章所提供实列化Trainer类提供args=training_args的参数处理。如果不提供args,huggingface将会自动使用TrainingArguments类构建默认参数。至于TrainingArguments默认参数在上一章有说明,我将不在介绍。
if args is None
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。