赞
踩
BertEmbeddings
modeling_bert主要包含内容:
BertEmbeddings
class BertEmbeding(nn.Module)
BertEncoder
BertLayer
BertAttention
BertSelfAttention
BertSelfOutput
BertIntermediate
BertOutput
BertPooler
```python
class BertSelfAttention(nn.Module):
class BertSelfAttention(nn.Module):
class BertAttention(nn.Module):
class BertIntermediate(nn.Module):
class BertOutput(nn.Module):
class BertLayer(nn.Module):
class BertEncoder(nn.Module):
class BertPooler(nn.Module):
```
BERT-based Models应用模型
BERT训练和优化
Bert解决NLP任务
0.BertForPreTraining
BertEncoder
BertLayer
BertAttention
BertSelfAttention
BertSelfOutput
BertIntermediate
BertOutput
BertPooler
BertOnlyMLMHead
BertForMaskedLM
BertLMHeadModel
BertOnlyNSPHead
BertForNextSentencePrediction
class BertForPreTraining(BertPreTrainedModel): MLM和NSP两个任务
class BertPreTrainingHeads(nn.Module): 两个任务的预测模块
class BertLMPredictionHead(nn.Module): 用于预测[MASK]位置的输出在每个词作为类别的分类输出
class BertPredictionHeadTransform(nn.Module): 完成一些线性变换
BertForMaskedLM:只进行 MLM 任务的预训练
基于BertOnlyMLMHead,而后者也是对BertLMPredictionHead的另一层封装
class BertLMHeadModel(BertPreTrainedModel):这个和上一个的区别在于,这一模型是作为 decoder 运行的版本
同样基于BertOnlyMLMHead
class BertForNextSentencePrediction(BertPreTrainedModel):只进行 NSP 任务的预训练。
基于BertOnlyNSPHead,内容就是一个线性层
1. BertForSequenceClassification
2. BertForMultiChoice
3. BertForTokenClassification
4. BertForQuestionAnswering
BERT训练与优化
Pre-Training
Fine-Tuning
AdamW
Warmup
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。