Transformers 快速入门 | 一

作者|huggingface
编译|VK
来源|Github

理念

Transformers是一个为NLP的研究人员寻求使用/研究/扩展大型Transformers模型的库。

该库的设计有两个强烈的目标:

• 尽可能简单和快速使用:
  • 我们尽可能限制了要学习的面向对象抽象的类的数量，实际上几乎没有抽象，每个模型只需要使用三个标准类:配置、模型和tokenizer，
  • 所有这些类都可以通过使用公共的from_pretrained()实例化方法从预训练实例以简单统一的方式初始化，该方法将负责从库中下载，缓存和加载相关类提供的预训练模型或你自己保存的模型。
  • 因此，这个库不是构建神经网络模块的工具箱。如果您想扩展/构建这个库，只需使用常规的Python/PyTorch模块，并从这个库的基类继承，以重用诸如模型加载/保存等功能。
• 提供最先进的模型与性能尽可能接近的原始模型:
  • 我们为每个架构提供了至少一个例子，该例子再现了上述架构的官方作者提供的结果
  • 代码通常尽可能地接近原始代码，这意味着一些PyTorch代码可能不那么pytorch化，因为这是转换TensorFlow代码后的结果。

其他几个目标:

• 尽可能一致地暴露模型的内部:
  • 我们使用一个API来访问所有的隐藏状态和注意力权重，
  • 对tokenizer和基本模型的API进行了标准化，以方便在模型之间进行切换。
• 结合一个主观选择的有前途的工具微调/调查这些模型:
  • 向词汇表和嵌入项添加新标记以进行微调的简单/一致的方法，
  • 简单的方法面具和修剪变压器头。

主要概念

该库是建立在三个类型的类为每个模型:

• model类是目前在库中提供的8个模型架构的PyTorch模型(torch.nn.Modules)，例如BertModel
• configuration类，它存储构建模型所需的所有参数，例如BertConfig。您不必总是自己实例化这些配置，特别是如果您使用的是未经任何修改的预训练的模型，创建模型将自动负责实例化配置(它是模型的一部分)
• tokenizer类，它存储每个模型的词汇表，并在要输送到模型的词汇嵌入索引列表中提供用于编码/解码字符串的方法，例如BertTokenizer

所有这些类都可以从预训练模型来实例化，并使用两种方法在本地保存:

• from_pretraining()允许您从一个预训练版本实例化一个模型/配置/tokenizer，这个预训练版本可以由库本身提供(目前这里列出了27个模型)，也可以由用户在本地(或服务器上)存储，
• save_pretraining()允许您在本地保存模型/配置/tokenizer，以便可以使用from_pretraining()重新加载它。

我们将通过一些简单的快速启动示例来完成这个快速启动之旅，看看如何实例化和使用这些类。其余的文件分为两部分:

• 主要的类详细介绍了三种主要类(配置、模型、tokenizer)的公共功能/方法/属性，以及一些作为训练工具提供的优化类，
• 包引用部分详细描述了每个模型体系结构的每个类的所有变体，特别是调用它们时它们期望的输入和输出。

快速入门：使用

这里有两个例子展示了一些Bert和GPT2类以及预训练模型。

有关每个模型类的示例，请参阅完整的API参考。

BERT示例

让我们首先使用BertTokenizer从文本字符串准备一个标记化的输入（要输入给BERT的标记嵌入索引列表）

import torch
from transformers import BertTokenizer, BertModel, BertForMaskedLM

# 可选：如果您想了解发生的信息，请按以下步骤logger
import logging
logging.basicConfig(level=logging.INFO)

# 加载预训练的模型标记器（词汇表）
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 标记输入
text = "[CLS] Who was Jim Henson ? [SEP] Jim Henson was a puppeteer [SEP]"
tokenized_text = tokenizer.tokenize(text)

# 用“BertForMaskedLM”掩盖我们试图预测的标记`
masked_index = 8
tokenized_text[masked_index] = '[MASK]'
assert tokenized_text == ['[CLS]', 'who', 'was', 'jim', 'henson', '?', '[SEP]', 'jim', '[MASK]', 'was', 'a', 'puppet', '##eer', '[SEP]']

# 将标记转换为词汇索引
indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)
# 定义与第一句和第二句相关的句子A和B索引（见论文）
segments_ids = [0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22