huggingface使用bert_huggingface bert

本文针对于huggingface使用.不是教程,只是我需要的东西.

调用bert类

参考博客:

1Huggingface简介及BERT代码浅析 - 知乎 (zhihu.com).

import torch
from transformers import BertModel, BertTokenizer

这里我们调用bert-base模型，同时模型的词典经过小写处理

model_name = ‘bert-base-uncased’

读取模型对应的tokenizer

tokenizer = BertTokenizer.from_pretrained(model_name)

载入模型

model = BertModel.from_pretrained(model_name)

输入文本

input_text = “Here is some text to encode”

通过tokenizer把文本变成 token_id

input_ids = tokenizer.encode(input_text, add_special_tokens=True)

input_ids: [101, 2182, 2003, 2070, 3793, 2000, 4372, 16044, 102]

input_ids = torch.tensor([input_ids])

获得BERT模型最后一个隐层结果

with torch.no_grad():
last_hidden_states = model(input_ids)[0] # Models outputs are now tuples
“”"
shape: (1, 9, 768)
“”"

上图就是如何使用bert嵌入文本.注意tokenization就是调用字典而已.经过model产生嵌入向量.

以bert为例子,看bertmodel类,它就是bert的主类.它的output是添加了objective任务的.而里边的bertembedding没有添加任务,只是嵌入而已.

作者说,BertEncoder主要将embedding的输出.是不是说bertencoder=bertembedding.

Bertpooler 其实就是将BERT的[CLS]的hidden_state 取出，经过一层DNN和Tanh计算后输出

class BertModel(BertPreTrainedModel):
def init(self, config):
super().init(config)
self.config = config

    self.embeddings = BertEmbeddings(config)
    self.encoder = BertEncoder(config)
    self.pooler = BertPooler(config)

    self.init_weights()
1
2
3
4
5

下面这段话很重要

在这个文件中还有上述基础的BertModel的进一步的变化，比如BertForMaskedLM，BertForNextSentencePrediction这些是Bert加了预训练头的模型，还有BertForSequenceClassification， BertForQuestionAnswering 这些加上了特定任务头的模型。

这句话的意思是 头就是objective任务,上述第二行就是下游任务.

我们还是不了解上面话的含义,我们查阅huggingface的文档:BERT (huggingface.co).

hidden_size=768,就是bert嵌入的输出维度.

BertModel: 主类.

BertForPreTraing: 两个头,看来两个头就是两个任务.

BertForMaskedLM#

看了东于的博客:[BERT相关——（8）BERT-based Model代码分析 | 冬于的博客 (ifwind.github.io)](https://ifwind.github.io/2021/08/24/BERT相关——（8）BERT-based Model代码分析/#引言).

HuggingFace的transformers库中基于 BERT 的模型都是基于BertPreTrainedModel这一抽象基类的，而后者则基于一个更大的基类PreTrainedModel。这里我们关注BertPreTrainedModel的功能：BertPreTrainedModel用于初始化模型权重，同时维护继承自PreTrainedModel的一些标记身份或者加载模型时的类变量。

HuggingFace的transformers库提供了对两个目标都进行预训练、以及只对其中一个任务进行预训练的Bert预训练模型：

BertForPreTraining：进行MLM和NSP两个任务的预训练；
BertForMaskedLM：只进行 MLM 任务的预训练；
BertLMHeadModel：这个和上一个的区别在于，这一模型是作为 decoder 运行的版本；#这是什么意思?懂了,就是只能利用上文,不能利用下文. BertForNextSentencePrediction：只进行 NSP 任务的预训练。

注意,bert的两个任务都是分类任务.

BertForMaskedLM只完成MLM任务，事实上后续的RoBERTa、ALBERT、spanBERT等模型都移去了NSP任务（消除NSP损失在下游任务的性能上能够与原始BERT持平或略有提高）。

与上面的BertForMaskedLM模型不同，BertLMHeadModel模型是decoder版本，也就是只能利用上文而不能利用下文，任务修改为next token prediction。完成LM任务：注意这里做的是下一个token预测的任务

接下来介绍HuggingFace-Transformers库中实现的四种 Fine-tune 模型，基本都是分类任务，与上一篇博客相对应，不包括seq2seq模型。

one class-BertForSequenceClassification#句子分类
one class-BertForMultipleChoice
class for each token-BertForTokenClassification#token分类
copy from input-BertForQuestionAnswering#输入为问题 +（对于 BERT 只能是一个）回答组成的句子对，输出为起始位置s和结束位置e用于标出回答中的具体文本。

什么是回归任务和分类任务?

简单来讲，分类任务 和 回归任务 的区别在于 需要预测的值的类型：

回归任务，是对 连续值 进行预测（比如 多少）；#使用MSE
分类任务，是对 离散值 进行预测（比如 是不是，属不属于，或者 属于哪一类）。#使用交叉熵
比如，

预测 明天的气温是多少度，这是一个回归任务；
预测 明天会不会下雨，就是一个分类任务。

调用gpt类

参考:huggingface transformers预训练模型如何下载至本地，并使用？ - 知乎 (zhihu.com).

特别注意三个类:使用的时候，非常简单。huggingface的transformers框架主要有三个类model类、configuration类、tokenizer类，这三个类，所有相关的类都衍生自这三个类，他们都有from_pretained()方法和save_pretrained()方法。

注意,from_pretained就可以微调了,save_pretrained就是存储自己的微调.

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

从下载好的文件夹中加载tokenizer

这里你需要改为自己的实际文件夹路径

tokenizer = GPT2Tokenizer.from_pretrained(‘/dfsdata2/yucc1_data/models/huggingface/gpt2’)
text = ‘Who was Jim Henson ? Jim Henson was a’

编码一段文本

编码后为[8241, 373, 5395, 367, 19069, 5633, 5395, 367, 19069, 373, 257]

indexed_tokens = tokenizer.encode(text)

转换为pytorch tensor

tensor([[ 8241, 373, 5395, 367, 19069, 5633, 5395, 367, 19069, 373, 257]])

shape为 torch.Size([1, 11])

tokens_tensor = torch.tensor([indexed_tokens])

从下载好的文件夹中加载预训练模型

model = GPT2LMHeadModel.from_pretrained(‘/dfsdata2/yucc1_data/models/huggingface/gpt2’)

设置为evaluation模式，去取消激活dropout等模块。

在huggingface/transformers框架中，默认就是eval模式

model.eval()

预测所有token

with torch.no_grad():
# 将输入tensor输入，就得到了模型的输出，非常简单
# outputs是一个元组，所有huggingface/transformers模型的输出都是元组
# 本初的元组有两个，第一个是预测得分（没经过softmax之前的，也叫作logits），
# 第二个是past，里面的attention计算的key value值
# 此时我们需要的是第一个值
outputs = model(tokens_tensor)
# predictions shape为 torch.Size([1, 11, 50257])，
# 也就是11个词每个词的预测得分（没经过softmax之前的）
# 也叫做logits
predictions = outputs[0]

我们需要预测下一个单词，所以是使用predictions第一个batch，最后一个词的logits去计算

predicted_index = 582，通过计算最大得分的索引得到的

predicted_index = torch.argmax(predictions[0, -1, :]).item()

反向解码为我们需要的文本

predicted_text = tokenizer.decode(indexed_tokens + [predicted_index])

解码后的文本：‘Who was Jim Henson? Jim Henson was a man’

成功预测出单词 ‘man’

print(predicted_text)

欢迎留言讨论