NLP学习笔记一（小白上手）_在自然语言处理中,根据给定文档的内容或主题,自动分配预先定义的类别标签,称

自然语言处理简介#

    研究人与计算机之间用自然语言进行有效通信的理论与方法。融语言学、计算机科学、数学等一体的科学。旨在从文本数据中提取信息，目的是让计算机理解或处理自然语言，以执行自动翻译、文本分类、情感分析等。

入门基础#

NLP主要技术范畴#

1）语义文本相似度分析：

对两段文本的意义和本质之间的相似度进行分析的过程。

2）信息检索：

3）信息抽取：

4）文本分类：

5）文本挖掘：

6）文本情感分析：

7）问答系统：

8）机器翻译：

9）自动摘要：

10）语音识别：

NLP基本知识点#

1）语料库

语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为载体承载语言知识的基础资源；真实语料需要经过加工（分析和处理），才能成为有用的资源。

2）中文分词

（1）中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

（2）现有的分词方法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。

（3）比较流行的中文分词工具：jieba、StanfordNLP、HanLP、SnowNLP、THULAC、NLPIR

3） 词性标注（Part-of-speech tagging）

（1）词性标注是指为给定句子中的每个词赋予正确的词法标记，给定一个切好词的句子，词性标注的目的是为每一个词赋予一个类别，这个类别称为词性标记（part-of-speech tag），比如，名词（noun）、动词（verb）、形容词（adjective）等。

（2）词性标注是一个非常典型的序列标注问题。最初采用的方法是隐马尔科夫生成式模型， 然后是判别式的最大熵模型、支持向量机模型，目前学术界通常采用的结构是感知器模型和条件随机场模型。近年来，随着深度学习技术的发展，研究者们也提出了很多有效的基于深层神经网络的词性标注方法。

4） 句法分析（Parsing）

（1）基于规则的句法结构分析

（2）基于统计的语法结构分析

5）词干提取（Stemming）

词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干。

6）词形还原（Lemmatization）

词形还原是将一组词语还原为词源或词典的词目形式的过程。

7）停用词过滤

停用词过滤是指在文本中频繁出现且对文本信息的内容或分类类别贡献不大甚至无贡献的词语，如常见的介词、冠词、助词、情态动词、代词以及连词等。

8）词向量化（Word Vector）

词向量化是用一组实数构成的向量代表自然语言的叫法。这种技术非常实用，因为电脑无法处理自然语言。词向量化可以捕捉到自然语言和实数间的本质关系。通过词向量化，一个词语或者一段短语可以用一个定维的向量表示。（word2vec）

from gensim.models import Word2Vec