Bert基础(七)--Bert实战之理解Bert模型结构_bert输入前的预处理

B站视频

在篇我们将详细学习如何使用预训练的BERT模型。首先，我们将了解谷歌对外公开的预训练的BERT模型的不同配置。然后，我们将学习如何使用预训练的BERT模型作为特征提取器。此外，我们还将探究Hugging Face的Transformers库，学习如何使用Transformers库从预训练的BERT模型中提取嵌入。

接着，我们将了解如何从BERT的编码器层中提取嵌入，并学习如何为下游任务微调预训练的BERT模型。我们先学习为文本分类任务微调预训练的BERT模型，然后学习使用Transformers库微调BERT模型以应用于情感分析任务。最后，我们将学习如何将预训练的BERT模型应用于自然语言推理任务、问答任务以及命名实体识别等任务。

1、预训练的BERT模型

在前面，我们学习了如何使用掩码语言模型构建任务和下句预测任务对BERT模型进行预训练。但是，从头开始预训练BERT模型是很费算力的。因此，我们可以下载预训练的BERT模型并直接使用。谷歌对外公开了其预训练的BERT模型，我们可以直接从其GitHub仓库中下载。谷歌发布了各种配置的预训练BERT模型，如图所示。L表示编码器的层数，H表示隐藏神经元的数量&#x