如何下载和在本地使用Bert预训练模型_bert-base-uncased 本地

bert 预训练模型的下载有许多方式，比如从github官网上下载（官网下载的是tensorflow版本的），还可以从源码中找到下载链接，然后手动下载，最后还可以从huggingface中下载。

关于huggingface的介绍可以看这个：Huggingface简介及BERT代码浅析

从huggingface下载预训练模型的地址：https://huggingface.co/models

点进去是这样的：

如果你想使用 bert-base-uncased 那么第一个就是，如果想使用别的预训练模型，还可以在搜索框中搜索。

以下载 bert-base-uncased 为例：

首先点击搜索框下面第一个链接，来到这个页面：

点击箭头所指位置，来到下载页面：

我看到评论区有好多找不到下载位置的人：

补充一张图：

有pytorch、tensorflow、rust三种语言的预训练模型，选择自己需要的下载即可，其他的还有配置文件，以及词库文件等等。

使用方法，以pytorch为例：

将下载好的文件放到一个目录里面，比如 bert-base-uncased ，然后用以下代码测试：

from transformers import BertModel,BertTokenizer

BERT_PATH = './bert-base-uncased'

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

print(tokenizer.tokenize('I have a good time, thank you.'))

bert = BertModel.from_pretrained(BERT_PATH)

print('load bert model over')
1
2
3
4
5
6
7
8
9
10
11

输出：

['i', 'have', 'a', 'good', 'time', ',', 'thank', 'you', '.']
load bert model over
1
2

证明可以正常使用。