当前位置:   article > 正文

nlp常用任务以及各类任务常用模型_nlp业务模型

nlp业务模型

nlp常用任务以及各类任务常用模型


本文主要简单描述目前nlp方向的应用类型以及该类型下的常用方法(以及目前通用的数据集)

详细信息参考自 https://github.com/sebastianruder/NLP-progress


nlp四大任务类型

序列标注:分词/POS Tag词性标注/NER命名实体识别
分词/POS Tag词性标注

目前分词和词性标注技术已经非常成熟,常用的库有Jieba,哈工大pyltp等,以下不再赘述。
具体分词技术可以参考 https://blog.csdn.net/scarlettyellow/article/details/80458043

词性标注的目的在于得到分词之后每个词的语法属性(名词,动词,形容词等);主要任务是消除词性兼类歧义;可以应用在句法分析,词汇获取,信息抽取等应用中。
中文词性标注的难点在于中文没有屈折变化,也没有附加词缀,即一个词能够不改变形态的情况下表示多种意思,所以无法像英语那样通过词缀进行词性标注。
具体词性标注技术可以参考:
https://github.com/sebastianruder/NLP-progress/blob/master/english/part-of-speech_tagging.md
https://www.zhihu.com/question/302423008
汉语词性对照表: https://blog.csdn.net/sinat_33741547/article/details/78894163

NER命名实体识别

命名实体识别的目地的在于抽取出句子中的命名性指称项,即人名,地名等实体
中文进行命名实体识别的难点:

  1. 中文没有空格作为每个词的分隔,没有英文当中的大小写(英文中地名等相关名词一般为大写)。
  2. 中文的词非常灵活,有时不通过上下文无法判断出时候
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/242720
推荐阅读
相关标签
  

闽ICP备14008679号