BERT模型

BERT模型

Paper: https://arxiv.org/abs/1810.04805

BERT 全称为Bidirectional Encoder Representation from Transformers（来自Transformers的双向编码表示），谷歌发表的发的论文Pre-traning of Deep Bidirectional Transformers for Language Understanding中提出的一个面向自然语言处理任务的无监督预训练语言模型。是近年来自然语言处理领域公认的里程碑模型。

BERT的创新在于Transformer Decoder（包含Masked Multi-Head Attention）作为提取器，并使用与之配套的掩码训练方法。虽然使用了双编码使得BERT不具有文本生成能力，但BERT在对输入文本的编码过程中，利用了每个词的所有上下文信息，与只能使用前序信息提取语义的单向编码器相比，BERT的语义信息提取能力更强。

下面距离说明单向编码与双向编码在语义理解上的差异

今天天气很差，我们不得不取消户外运动。

将句子中的某个字或者词“挖”走，句子变为

今天天气很{}，我们不得不取消户外运动。

分别从单向编码（如GPT）和双向编码（如BERT ）的角度来考虑“{}”中应该填什么词。单向编码只会使用“今天天气很”这5个字的信息来推断“{}”的字或词，以人类的经验与智慧，使用概率最大的词应该是：“好”“不错”“差”“糟糕”，而这些词可以被划分为截然不同的两类。

通过这个例子我们可以直观地感觉到，不考虑模型的复杂度和训练数据量，双向编码与单向编码相比，可以利用更多的上下文信息来辅助当前的语义判断。在语义理解能力上，采用双向编码的方式是最科学的，而BERT的成功很大程度上有此决定。

BERT的结构

参数

$L$：Transformer blocks；
$H$：hidden size；
$A$：self-attention heads；