matlab分词NLP,自然语言处理NLP分词篇

自然语言处理NLP分词篇

自然语言处理NLP【分词篇】

NLP简介和三种分词模型

NLP逐渐成为人工智能一大热点研究方向，目前国外对英文分词的研究比较深入，而中文分词发展较缓。它需要联系上下文、作者背景、内容背景等进行调整。

处理这些高度模糊句子所采用消歧的方法，通常运用到语料库以及隐马尔可夫模型(Hidden Markov Model,HMM)、支持向量机(Support Vector Machine,SVM)和条件随机场(Conditional Random Field, CRF)三种为主，也常用于句法分析、命名实体识别、词性标注等，且后两者(SVM、CRF)明显优于隐马尔可夫模型。

其中隐马尔可夫模型(HMM)和条件随机场(CRF)的模型主干相同，其能够应用的领域往往是重叠的，但在命名实体、句法分析等领域CRF更胜一筹。当然不是必须学习HMM才能读懂CRF，但通常来说如果做自然语言处理，这两个模型大家都应该有所了解。

中文分词的概念

中文分词就是输入一个汉语句子，输出一串由“BEMS”组成的序列串，以“E”、“S”结尾进行切词，进而得到句子划分。其中B(begin)代表该字是词语的起始字，M(middle)代表词语中间字，E(end)结束字，S(single)单字成词。

例如：

小普是星海湾最受欢迎的小马

得到BEMS组成的序列为

BESBMESBMESBE