如何导入pytorch包_[transformers] 配置、使用transformers包

一、transformers

transformers包又名pytorch-transformers或者pytorch-pretrained-bert。它提供了一些列的STOA模型的实现，包括(Bert、XLNet、RoBERTa等)。下面介绍该包的使用方法：

1、如何安装

transformers的安装十分简单，通过pip命令即可

pip install transformers

也可通过其他方式来安装，具体可以参考：https://github.com/huggingface/transformers

安装pytorch

pip install torch 
conda install torchvision 

2、如何使用

使用transformers前需要下载好pytorch(版本>=1.0)或者tensorflow2.0。下面以pytorch为例，来演示使用方法

1、若要导入所有包可以输入：

import torch 
from transformers import *

2、若要导入指定的包可以输入：

import torch 
from transformers import BertModel

3、加载预训练权重和词表

UNCASED = './bert-base-uncased' 
bert = BertModel.from_pretrained(UNCASED)

注意：加载预训练权重时需要下载好预训练的权重文件，一般来说，当缓存文件中没有所需文件时(第一次使用)，只要网络没有问题，就会自动下载。当网络出现问题的时候，就需要手动下载预训练权重了。

当缓存中不存在所需文件时，一般会出现提示：

bert-base-uncased-pytorch_model.bin not found in cache

二、手动下载、本地加载预训练权重

在使用transformers的时候，由于Bert、XLNet的文件都在AWS上存储，transformers的默认下载地址指向的是AWS，因此在国内下载速度非常慢。需要我们自己手动下载。

1、下载.txt、.json、.bin文件到本地

以Bert为例，相关的.bin文件(预训练权重)下载地址如下所示：

BERT_PRETRAINED_MODEL_ARCHIVE_MAP = {
    
    'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin",
    'bert-large-uncased': "https://s3.amazonaws.com/models.huggingfac