当前位置:   article > 正文

【NLP】基于BERT-BiLSTM-CRF的NER实现_bert ner代码实现

bert ner代码实现

背景

NER任务毋庸多言,之前也是从HMM,BiLSTM-CRF,IDCNN-CRF一路实现,也看到各个模型的效果和性能。在BERT大行其道的时期,不用BERT做一下BERT那就有点out了,毕竟基于BERT的衍生语言模型也变得更加强悍。不过当前使用BERT+softmax既可以做到非常好的效果,接上BiLSTM以及再使用CRF解码,主要是为了充分理解各层直接的衔接关系等。除此之外,模型在训练过程中需要一些小tricks,如:lr_scheduler,warmup等都需要我们慢慢理解其在背后使用的意义和效果等。

当然,如果你对之前NER实现的代码感兴趣的话,可以看看这些文章:【NLP】基于隐马尔可夫模型(HMM)的命名实体识别(NER)实现【NLP】基于Pytorch lightning与BiLSTM-CRF的NER实现【NLP】基于Pytorch的IDCNN-CRF命名实体识别(NER)实现

当然本程序在实现完相关模型后,也将源码上传到了GitHub上了,有兴趣看源码的可以自拿:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/383855
推荐阅读
相关标签
  

闽ICP备14008679号