当前位置:   article > 正文

MindSpore Transformers套件教程_安装mindformers

安装mindformers

MindSpore Transformers套件教程

项目地址:https://gitee.com/mindspore/mindformers

一、介绍

MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松实现大模型训练和创新研发。

MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计,具备如下特点:

  • 一行代码实现从单卡到大规模集群训练的无缝切换;
  • 提供灵活易用的个性化并行配置;
  • 能够自动进行拓扑感知,高效地融合数据并行和模型并行策略;
  • 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程;
  • 支持用户进行组件化配置任意模块,如优化器、学习策略、网络组装等;
  • 提供Trainer、pipeline、AutoClass等高阶易用性接口;
  • 提供预置SOTA权重自动下载及加载功能;
  • 支持人工智能计算中心无缝迁移部署。

如果您对MindSpore Transformers有任何建议,请通过issue与我们联系,我们将及时处理。

二、MindFormers安装
Linux源码编译方式安装

支持源码编译安装,用户可以执行下述命令进行包的安装:

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh
  • 1
  • 2
  • 3
三、版本匹配关系

当前支持的硬件为Atlas 800T A2训练服务器。当前套件建议使用的Python版本为3.9。

MindFormersMindPetMindSporeCANN驱动固件镜像链接备注
r1.1.01.0.42.3.0rc28.0.RC1.beta1aarch64 x86_64driver image版本分支

当前MindFormers仅支持如上的软件配套关系。其中CANN和固件驱动的安装需与使用的机器匹配,请注意识别机器型号,选择对应架构的版本。

四、快速使用

MindFormers套件对外提供两种使用和开发形式,为开发者提供灵活且简洁的使用方式和高阶开发接口。

方式一:使用msrun方式启动(仅适用于配套MindSpore2.3以上版本)

用户可以直接clone整个仓库,按照以下步骤运行套件中已支持的任意configs模型任务配置文件,方便用户快速进行使用和开发:

目前msrun方式启动不支持指定device_id启动,msrun命令会按当前节点所有显卡顺序设置rank_id。

单机多卡
# 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}"

# 单机多卡快速启动方式,仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}" WORKER_NUM

# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}" WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
多机多卡
# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}" WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT

# 使用示例:
# 节点0,节点ip为192.168.1.1,作为主节点,总共8卡且每个节点4卡
bash scripts/msrun_launcher.sh "run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}" 8 4 192.168.1.1 8118 0 output/msrun_log False 300

# 节点1,节点ip为192.168.1.2,节点0与节点1启动命令仅参数NODE_RANK不同
bash scripts/msrun_launcher.sh "run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}" 8 4 192.168.1.1 8118 1 output/msrun_log False 300
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
单卡启动
# 训练启动,run_mode支持train、finetune、eval、predict四个关键字,以分别完成模型训练、评估、推理功能,默认使用配置文件中的run_mode
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}
  • 1
  • 2
方式二:调用API启动

详细高阶API使用教程请参考:MindFormers大模型使用教程

准备工作
  1. 安装mindformers
    具体安装请参考第二章。

  2. 准备数据
    准备相应任务的数据集,请参考docs目录下各模型的README.md文档准备相应数据集。

Trainer 快速入门

用户可以通过以上方式安装mindformers库,然后利用Trainer高阶接口执行模型任务的训练、微调、评估、推理功能。

# 以gpt2模型为例
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers import Trainer

# 初始化预训练任务
trainer = Trainer(task='text_generation',
                  model='gpt2',
                  train_dataset='path/to/train_dataset',
                  eval_dataset='path/to/eval_dataset')
# 开启预训练
trainer.train()

# 开启全量微调
trainer.finetune()

# 开启评测
trainer.evaluate()

# 开启推理
predict_result = trainer.predict(input_data="An increasing sequence: one,", do_sample=False, max_length=20)
print(predict_result)
# output result is: [{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}]

# Lora微调
trainer = Trainer(task="text_generation", model="gpt2", pet_method="lora",
                  train_dataset="path/to/train_dataset")
trainer.finetune(finetune_checkpoint="gpt2")
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
pipeline 快速入门

MindFormers套件为用户提供了已集成模型的pipeline推理接口,方便用户体验大模型推理服务。

# 以gpt2 small为例
import mindspore; mindspore.set_context(mode=0, device_id=0)
from mindformers.pipeline import pipeline

pipeline_task = pipeline(task="text_generation", model="gpt2")
pipeline_result = pipeline_task("An increasing sequence: one,", do_sample=False, max_length=20)
print(pipeline_result)
# [{'text_generation_text': ['An increasing sequence: one, two, three, four, five, six, seven, eight,']}]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
AutoClass 快速入门

MindFormers套件为用户提供了高阶AutoClass类,包含AutoConfig、AutoModel、AutoProcessor、AutoTokenizer四类,方便开发者进行调用。

# AutoConfig获取已支持的任意模型配置
from mindformers import AutoConfig

# 获取gpt2的模型配置
gpt2_config = AutoConfig.from_pretrained('gpt2')
# 获取vit_base_p16的模型配置
vit_base_p16_config = AutoConfig.from_pretrained('vit_base_p16')

# AutoModel获取已支持的网络模型
from mindformers import AutoModel

# 利用from_pretrained功能实现模型的实例化(默认加载对应权重)
gpt2 = AutoModel.from_pretrained('gpt2')
# 利用from_config功能实现模型的实例化(默认加载对应权重)
gpt2_config = AutoConfig.from_pretrained('gpt2')
gpt2 = AutoModel.from_config(gpt2_config)
# 利用save_pretrained功能保存模型对应配置
gpt2.save_pretrained('./gpt2', save_name='gpt2')

# AutoProcessor获取已支持的预处理方法
from mindformers import AutoProcessor

# 通过模型名关键字获取对应模型预处理过程(实例化gpt2的预处理过程,通常用于Trainer/pipeline推理入参)
gpt2_processor_a = AutoProcessor.from_pretrained('gpt2')
# 通过yaml文件获取相应的预处理过程
gpt2_processor_b = AutoProcessor.from_pretrained('configs/gpt2/run_gpt2.yaml')

# AutoTokenizer获取已支持的tokenizer方法
from mindformers import AutoTokenizer
# 通过模型名关键字获取对应模型预处理过程(实例化gpt2的

tokenizer,通常用于Trainer/pipeline推理入参)
gpt2_tokenizer = AutoTokenizer.from_pretrained('gpt2')
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

希望通过这个教程,您能轻松上手MindSpore Transformers套件,快速实现大模型的训练和应用。如果有任何疑问或建议,请随时与我们联系。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/883534
推荐阅读
相关标签
  

闽ICP备14008679号