当前位置:   article > 正文

命名实体识别的语料和代码(部分)_命名实体识别语料

命名实体识别语料

1.用规则做命名实体识别

原文:用规则做命名实体识别——NER系列(一)

这篇博文就不放出代码了,因为现在基本上不用规则做命名实体识别,当然除非你在某些特定的语料有规律,就完全可以用正则表达式来做。

2.用HMM做命名实体识别

原文:用隐马尔可夫模型(HMM)做命名实体识别——NER系列(二)

代码和语料:https://github.com/lipengfei-558/hmm_ner_organization

3.用CRF做命名实体识别

原文:用CRF做命名实体识别——NER系列(三)

这篇博文是根据我参加的一个比赛写的,当时用到了纯CRF方法,比赛介绍:
基于机构实体的智能摘要和风险等级识别 Competitions - DataFountain

数据集:BDCI2017-fahai-Semi.zip_免费高速下载|百度网盘-分享无限制

用到了CRF++(版本0.58), CRF++ 下载地址:CRF -0.58.tar.gz_免费高速下载|百度网盘-分享无限制

使用方法直接参考官方文档:CRF++: Yet Another CRF toolkit,或者直接参考网上教程。主要涉及到两点,一是数据的预处理,二是CRF++的模板,事实上,用默认模板也能取得不错的效果。想要更好的效果,就得好好设计一下模板,尝试把一些词性、特征词等特征加进去,不赘述了~

4.LSTM+CRF做命名实体识别

原文:用双向lstm+CRF做命名实体识别(附tensorflow代码)——NER系列(四)

代码是一个老哥在github上开源的,基于tensorflow:GitHub - guillaumegenthial/sequence_tagging: Named Entity Recognition (LSTM + CRF) - Tensorflow

CoNLL-2003语料集下载地址:CoNLL-2003.rar_免费高速下载|百度网盘-分享无限制

上面这个是已经做好预处理的语料集,也可以直接用在CRF++上。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/一键难忘520/article/detail/859603
推荐阅读
相关标签
  

闽ICP备14008679号