赞
踩
NER任务毋庸多言,之前也是从HMM,BiLSTM-CRF,IDCNN-CRF一路实现,也看到各个模型的效果和性能。在BERT大行其道的时期,不用BERT做一下BERT那就有点out了,毕竟基于BERT的衍生语言模型也变得更加强悍。不过当前使用BERT+softmax既可以做到非常好的效果,接上BiLSTM以及再使用CRF解码,主要是为了充分理解各层直接的衔接关系等。除此之外,模型在训练过程中需要一些小tricks,如:lr_scheduler,warmup等都需要我们慢慢理解其在背后使用的意义和效果等。
当然,如果你对之前NER实现的代码感兴趣的话,可以看看这些文章:【NLP】基于隐马尔可夫模型(HMM)的命名实体识别(NER)实现、【NLP】基于Pytorch lightning与BiLSTM-CRF的NER实现、【NLP】基于Pytorch的IDCNN-CRF命名实体识别(NER)实现。
当然本程序在实现完相关模型后,也将源码上传到了GitHub上了,有兴趣看源码的可以自拿:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。