这个屌丝很懒，什么也没留下！

BERT预训练模型_前后文判断模型

作者：正经夜光杯 | 2024-08-04 04:33:10

BERT：双向transformer编码表达；

双向的意思：如图，输入的每个字都接受了所有字的信息。经过注意力机制之后，序列里的每一个字，都含有这个字前面的信息和后面的信息

二、BERT的预训练方式（建立语言模型）

2.1 完形填空式的预测MASKED LM(Masked language Model)

2.2 BERT语言模型任务二：上下句关系的预测

三、如何获取word embedding vector

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】