当前位置:   article > 正文

自然语言处理中的一些概念_自然语言处理的基本方法包括 a.基于推理的方法 b.基于规则的方法 c.基于检索的方

自然语言处理的基本方法包括 a.基于推理的方法 b.基于规则的方法 c.基于检索的方

一、概念

1. 语言学方面

     语法学:研究句子结构成分之间的相互关系和组成句子序列的规则。

     语义学:研究如何从一个语句中词的意义,以及这些词在该语句中句法结构中的作用来推导出该语句的意义。

     语用学:研究不同上下文中语句的应用,以及上下文对语句理解所产生的影响。

2. 信息论方面

     相对熵(简称KL距离):衡量两个相对随机分布的差距。

     交叉熵:衡量估计模型与真实概率分布之间的差异情况。

     困混度:代替交叉熵衡量语言模型的好坏。

     混乱度:熵越大,混乱度越高,说明分布越统一。

     噪声信道模型:目标是优化噪声信道中信号传输的吞吐量和准确率,输出以一定概率依赖于输入。

3. 概率论方面

      涉及到概率、极大似然估计、条件概率、贝叶斯法则、随机变量、二项分布、联合和条件概率分布、贝叶斯决策理论、期望和方差等等。

4. 其他

     信息抽取:把信息从不同文档中转换成数据库记录的系统,提取指定信息而不是查找。

     信息检索:只找出满足检索条件的整片文档或段落,而后人必须阅读去查找(由人阅读、理解、提取)。

        附:信息抽取和信息检索的区别:

               功能不同,前者得到的是文档列表,后者直接获得事实信息;

               处理技术不同:前者用统计和关键词匹配的方法,后者使用自然语言处理相关技术,分析处理句子篇章。

               使用领域不同:前者与领域无关的,任何领域均使用;后者是领域相关的,只能抽取系统预先设定的有限种

        类的事实信息。

二、分类

1.  语料库

     按内容构成和目的划分:异质的和同质的、系统的和专用的

     按语言种类分:单语的、多语的

     其他:平衡语料库和平行语料库、共时语料库和历时语料库

2. 汉语分词常见歧义

     交叉歧义:AB||C  或 A||BC

     组合歧义

3. 模型分类

    基于统计的:

           布尔模型:自动生成布尔表达式,共现频率高用AND。

           扩展模型:比较文档索引项和表达式相似度

           向量空间模型:考虑项的选取和权重评价方法。

           概率模型

   基于语义的:

          潜在语义索引模型、神经网络

   基于集合理论的:

         布尔模型、扩展模型、基于模糊集的模型

   基于代数理论:

         空间向量模型、潜在语义索引模型

   基于概率统计理论的:

         二元独立模型、推理网络模型、信度网络模型(指文档对检索的覆盖程度)、贝叶斯网络模型

三、方法总结

1. 自然语言处理的方法

    基于规则的方法:形式语言、语法理论、词法理论、推理方法等。(理性主义流派:基于chomsky的语言原则)

    基于统计的方法:语言模型、HMM、机器学习、搜索算法等。(经验主义流派:基于shannon的信息论)

2. 汉语自动分词方法

    有词典切分:最大匹配法(正向、逆向、双向)、最少分词法(也叫最短路径法)

    无词典切分

    基于规则的方法

    基于统计的方法

3. 文本分类的方法

     基于统计的:朴素贝叶斯、KNN、类中心向量、回归模型、支持向量机、最大熵。

     基于连接的:人工神经网络

     基于规则的:决策树、关联规则

4. 向量空间模型中的特征选择方法

    文档频度DF、信息增益IG、互信息MI、卡方统计量等。

5. 数据平滑(“劫富劫贫”)的方法

     加一法、减值法、Good-Turing估计、Back-off(后备/后退)方法、绝对减值法、线性减值法、删除插值法。

6. 词义消歧方法

    基于互信息、基于贝叶斯判别、基于词典释义、基于义类词典、基于判定表。

7. 句法分析方法

      传统非概率方法和概率方法、完全句法分析和部分句法分析、自顶向下分析(基于预测)和自底向上(基于归约)分析、确定性和非确定性分析等。

8. 文本聚类的方法

  (1)基于划分的:通过迭代把数据对象划分到不同的簇中,以求目标函数最小化,从而使生成的簇尽可能的紧凑和独立。(局部最优,改进:调整K,调整初始聚类中心,用类核代替类心)。

         K-means、K中心点算法

  (2)基于层次的:进行层次分解。

           层次聚类:递归实现

          会聚层次聚类:设定相似度函数(一般用文本向量的余弦相似度),重复合并最相似的类别,合并过程成层次结构。

          会聚聚类:以每个样本独自一类开始,迭代合并到越来越大的类中。

          分裂聚类 :将所有样本不断划分到类别中,不需要实现判定类别,需要终止条件。

          平均连通凝聚聚类:又分为单连通、全连通、两者折中。

  (3)基于密度的:只要临近区域的密度超过一定的阈值,就继续聚类,可过滤噪声和孤立点,发现任意形状的类。

  (4)基于网格的:将样本空间量化为有限数目的单元,形成一个网络结构,在其上进行聚类操作。

  (5)基于模型的:为每个类假定一个模型,寻找数据对给定模型的最佳拟合。

9. 相似度计算方法

    最近成员的相似度:sim((i,j),k)=max(sim(i,k),sim(j,k))

    最远成员的相似度:sim((i,j),k)=min(sim(i,k),sim(j,k))

    成员间平均相似度

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/641169
推荐阅读
相关标签
  

闽ICP备14008679号