huggingface实操_Transformers是TensorFlow 2.0和PyTorch的最新自然语言处理库【上】

transformers

作者|huggingface

编译|VK

来源|Github

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(

特性

与pytorch-transformers一样易于使用

像Keras一样强大而简洁

在NLU和NLG任务上具有高性能

教育者和从业者进入的门槛低

面向所有人的最新NLP架构

– 深度学习研究人员

– 练习实践学习人员

– AI/ML/NLP教师和教育者

降低计算成本

– 研究人员可以共享训练好的模型，而不必总是再训练

– 从业人员可以减少计算时间和生产成本

– 具有30多种预训练模型的10种架构，其中一些采用100多种语言

为模型生命周期的每个部分选择合适的框架

– 3行代码训练最先进的模型

– TensorFlow 2.0和PyTorch模型之间的深层互操作性

– 在TF2.0/PyTorch框架之间随意迁移模型

– 无缝选择合适的框架进行训练，评估和生产

章节

描述

安装

如何安装套件|

模型架构

体系结构(带预训练权重)

在线演示

试用文本生成功能

用法

分词和模型使用：Bert和GPT-2

TF2.0和PyTorch

用10行代码训练TF2.0模型，并将其加载到PyTorch中

管道

使用管道：使用管道进行分词和微调

微调与使用脚本

使用提供的脚本：GLUE，SQuAD和文本生成

分享你的模型

上传和与社区共享你的微调模型

从pytorch-transformers到 transformers

将代码从pytorch-transformers迁移到transformers

从pytorch-pretrained-bert迁移到pytorch-transformers

将代码从pytorch-pretrained-bert迁移到transformers

安装

此仓库已在Python 3.5 +，PyTorch 1.0.0+和TensorFlow 2.0.0-rc1上进行了测试

你应该安装虚拟环境中的transformers。如果你不熟悉Python虚拟环境，请查看用户指南。

使用你要使用的Python版本创建一个虚拟环境并激活它。

现在，如果你想使用transformers，你可以使用pip进行安装。如果你想使用这些示例，则必须从源代码安装它。

pip安装

首先，你需要安装TensorFlow 2.0或PyTorch。有关适用于你平台的特定安装命令，请参阅TensorFlow安装页面和/或PyTorch安装页面。

安装TensorFlow 2.0或PyTorch后，可以使用pip如下安装transformers：

pip install transformers

获取源码

同样在这里，你首先需要安装TensorFlow 2.0或PyTorch中。有关适用于你平台的特定安装命令，请参阅TensorFlow安装页面和/或PyTorch安装页面。

在安装TensorFlow 2.0或PyTorch之后，你可以通过克隆