深度学习算法bert

作者：运维做开发 | 2024-07-08 23:01:33

踩

深度学习算法bert

bert 属于自监督学习的一种（输入x的部分作为label）

1. bert是 transformer 中的 encoder ，不同的bert在encoder层数、注意力头数、隐藏单元数不同

2. 假设我们有一个模型 m ，首先我们为某种任务使用大规模的语料库预训练模型 m 。现在来了一个新任务，并有一个新模型，我们使用已经训练过的模型(预训练的模型) m 的参数来初始化新的模型，而不是使用随机参数来初始化新模型。然后根据新任务调整(微调)新模型的参数

3. bert（预训练做两个任务，一是填空（预测被屏蔽掉的词）二是 NSP 判断是否下一句（预测CLS）），但接下来可以做其他任务，又叫微调（需要一些标注数据）

4. 输入到bert模型之前需要编码

token embedding + segment embedding + position embedding

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/800636