huggingface 的trainer训练框架优势_huggingface和trainer

背景

Huggingface Transformers 是基于一个开源基于 transformer 模型结构提供的预训练语言库，它支持 Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。框架支持了最新的各种NLP预训练语言模型，使用者可以很快速的进行模型的调用，并且支持模型further pretraining 和 下游任务fine-tuning。

Transformers 库写了了一个transformers.Trainer API，它是一个简单但功能完整的 PyTorch 训练和评估循环，针对 Transformers 进行了优化，有很多的训练选项和内置功能，同时也支持多GPU/TPU分布式训练和混合精度。即Trainer API是一个封装好的训练器（Transformers库内置的小框架，如果是Tensorflow，则是TFTrainer）

一、 开源生态环境

1. 基于huggingface transformers实现，可以快速稳定调用几乎全部开源模型使用。
2. 开源生态良好，企业级维护，网上示例和各种不同需求代码demo多。
3. 官方tutorial 全面。
4. 支持huggingface 各种好用工具库:datasets, evaluate, peft,accelerate等

二、训练阶段

1. 内置训练循环

2. 支持模型不同训练阶段的加载和保存

   （模型参数，学习率，优化器，scheduler等）自动保存加载，保证训练中断后继续稳定训练。

3. log打印，训练阶段log自动打印。

4. 支持各种optmizer，schedular 参数化配置。

5. 支持各种提高模型能力的trick 如warmup，grad_clip ,grad_accumulate 等。

6. TrainingArguments ，DataArguments，ModelArgument

   训练过程，数据相关，模型相关的各种常用参数存在

7. 支持使用datasets 类 map操作，进行数据集高效预处理

8. 支持使用Accelerate库进行分布式训练

   1. 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/835307