BERT_continue train

1.Further train (Continue train)

预训练的模型

由于从头开始(from scratch)训练需要巨大的计算资源，因此Google提供了预训练的模型(的checkpoint)，目前包括英语、汉语和多语言3类模型，而英语又包括4个版本：

• BERT-Base, Uncased 12层，768个隐单元，12个Attention head，110M参数
• BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数
• BERT-Base, Cased 12层，768个隐单元，12个Attention head，110M参数
• BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数。

Uncased的意思是保留大小写，而cased是在预处理的时候都变成了小写。

对于汉语只有一个版本：BERT-Base, Chinese: 包括简体和繁体汉字，共12层，768个隐单元，12个Attention head，110M参数。另外一个多语言的版本是BERT-Base, Multilingual Cased (New, recommended)，它包括104种不同语言，12层，768个隐单元，12个Attention head，110M参数。它是用所有这104中语言的维基百科文章混在一起训练出来的模型。

1.1 生成预训练文件 

python create_pretraining_data.py \
  --input_file&