几种NER模型

作者：酷酷是懒虫 | 2024-07-14 22:11:17

踩

ner模型

1. BiLSTM-CRF

1.1 模型

对于一个中文句子，这个句子中的每个字符都有一个属于集合{O，B-PER，I-PER，B-LOC，I-LOC，B-ORG，I-ORG}的标记。

第一层，look-up layer，旨在将每个字符表示从一个one-hot向量转换为character embedding字符嵌入。在这段代码中，随机初始化嵌入矩阵，我知道它看起来太简单了。我们以后可以增加一些语言知识。例如，进行标记化tokenization 并使用pre-trained word-level embedding 字级嵌入，然后可以使用此标记的字嵌入初始化一个标记中的每个字符。此外，我们还可以通过结合低层特征来实现字符的嵌入（详见论文[2]第4.1节和论文[3]第3.3节）。

第二层，BiLSTM层，可以有效地利用过去和将来的输入信息，自动提取特征。

第三层，CRF层，在一个句子中为每个字符标记标签。如果我们使用Softmax层进行标记，我们可能会得到非随机标记序列，因为Softmax层独立地标记每个位置。我们知道“I-LOC”不能跟在“B-PER”后面，但Softmax不知道。与Softmax相比，CRF层可以利用句子级的标签信息，对两个不同标签的转换行为进行建模。

1.2 语料

MSRA corpus

将自己语料转换为以上格式，并生成一个词汇表文件。

2. BERT-BiLSTM-CRF

条件随机场-CRF

条件随机场分为三个部分，一个是“条件”，一个是“随机场”，还有一个是“马尔科夫”。
“随机场”：就是若干个位置的整体，当每个位置按某一种分布去取值时，当每个位置的值都确定下来，整体就是一个随机场。标注序列 ”OOBSOBMSOOO” 就是一个随机场。
“条件”：就是在已知X的条件下，Y是在已知X的条件下的输出，可类比于条件概率。
“马尔科夫”：就是随机场中的任一一个位置的结果 $y_{i}$ 仅与此位置相邻的结果 $y_{i-1}$ 和 $y_{i+1}$ 的位置有关，而与其他不相邻位置的结果无关。
条件随机场：综合上述的定义，我们给出条件随机场的定义：设X与Y是随机变量，P(Y|X)是给定X时Y的条件概率分布，若随机变量Y构成的是一个马尔科夫随机场，则称条件概率分布P(Y|X)是条件随机场。

模型特点：CRF是一个判别式模型，就是根据输入序列X来给出输出序列Y的概率分布。

3. IDCNN/BiLSTM-CRF

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/826493