[算法前沿]--027-如何应用一个BERT?_bertformultichoice

前言

接着上一小节，我们对Huggingface开源代码库中的Bert模型进行了深入学习，这一节我们对如何应用BERT进行详细的讲解。

涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载

本文基于 Transformers 版本 4.4.2（2021 年 3 月 19 日发布）项目中，pytorch 版的 BERT 相关代码，从代码结构、具体实现与原理，以及使用的角度进行分析，包含以下内容：

3. BERT-based Models应用模型
4. BERT训练和优化
5. Bert解决NLP任务

• BertForSequenceClassification
• BertForMultiChoice
• BertForTokenClassification
• BertForQuestionAnswering

6. BERT训练与优化
7. Pre-Training

• Fine-Tuning
• AdamW
• Warmup

3-BERT-based Models

基于 BERT 的模型都写在/models/bert/modeling_be