加载预训练模型的两种方式_本地加载bert-base-chinese

通过huggingface快速加载

import transformers
from transformers import BertTokenizer,BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') #只需要huggingface上对应的模型名称
model = BertModel.from_pretrained('bert-base-chinese')
1
2
3
4
5

优点：无脑操作
缺点：每次都需要在网站下载模型参数，用服务器下载有时会特别慢

下载好的模型本地加载

from transformers import BertTokenizer,BertModel

tokenizer = BertTokenizer.from_pretraines('./bert-base-chinese/vocab.txt')
model = BertModel.from_pretrained('./bert-base-chinese')
1
2
3
4

1.将下载下来的config.json，vocab.txt，pytorch_model.bin文件放在bert-base-chinses文件夹
2.BertTokenizer调用vocab文件，BertModel调用存放bin文件的目录即可