关于信息抽取的整理总结(上)

动机

自然语言处理的课上老师介绍了关于信息抽取的相关内容，结合老师课件提到的相关文献，写一篇整体的总结将本类文献进行汇总，以便后续根据研究需要引用和深入阅读文献。

1. 信息抽取概述

1.1 信息抽取定义

一般意义上，信息抽取的定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术[1]。

1.2 信息抽取的任务

• 实体识别与抽取
• 实体消岐
• 关系抽取
• 事件抽取

2. 实体识别与抽取

实体的识别和抽取根据应用的不同可以分为命名实体识别和开放域实体识别

2.1 实体识别

命名实体识别的主要任务是识别出待处理文本中七类命名实体，分别为人名、机构名、地名、时间、日期、货币和百分比。
在这七类当中，时间、日期、货币、百分比相对而言其构成具有很明显的规律，识别起来相对容易，但是剩下的三类由于用字灵活，所以识别难度很大。命名实体的内部构成和外部语言环境具有一些特征，无论何种方法,都在试图充分发现和利用实体所在的上下文特征和实体的内部特征。
考虑到每一类命名实体都具有不同的特征,不同类别的实体适合用不同的识别模型[2]：
- 人名:用基于字的模型描述其内部构成
- 地名和机构名:用基于词的模型描述

同时利用MEMM、HMM、CRF等序列标注工具计算特征权重。

2.2 开放域实体抽取

相对于实体识别而言，该领域目前更具有研究前景和价值。开放域实体抽取的特点在于不限定实体类别，不限定目标文本。

基本任务
给定某一类别的实体实例，从网页中抽取同一类别其他实体实例
例如给定<中国,美国,俄罗斯>(称为“种子”)，找出其他国家<德国,英国,法国……>

基本思路在于种子词与目标词在网页中具有相同或者类似的上下文（包括网页结构和上下文）。因此需要首先利用种子词提取模板，随后利用模板提取更多同类实体。处理该问题的主流框架为：

2.3 开放域实体抽取的主要方法

• 基于Query Log的抽取方法[3]
  通过分析种子实例在查询日志中的上下文学得模板,再利用模板找到同类别的实例.基本方法为构造候选与种子上下文向量,计算相似度。

• 基于Web Page的抽取方法[4]
  该文献的动机源于处理列表型文件即在同一个网页中，种子和目标实体具有相同的网页结构。整个系统主要分为三个模块。
  爬取模块(Fetcher)：把种子送到搜索引擎,把返回的前100个网页抓取下来作为语料
  抽取模块(Extractor)：针对单个网页学习模板,再使用模板抽取候选实例
  排序模块(Ranker)：利用种子、网页、模板、候选构造一个图,综合考虑网页和模板的质量,使用Random Walk算法为候选打分并排序

• 融合多个数据源的抽取方法[5]
  采用网页、查询日志、维基百科多种数据源，针对不同数据源,选取不同特征分别进行实例扩展,对结果进行融合，针对不同数据源选取不同的模板和特征，使用不同特征计算候选的置信度。

3 实体消岐

3.1 实体消岐定义

命名实体的歧义指的是一个实体指称项可对应到多个真实世界实体，确定一个实体指称项所指向的真实世界实体，这就是命名实体消歧。
针对方法的不同可以分为基于聚类的实体消岐和基于实体链接的实体消岐。

3.2 基于聚类的实体消岐

基本思路为同一指称项具有近似的上下文，利用聚类算法进行消歧。其核心问题在于选取何种特征对于指称项进行表示，根据特征的不同，共有如下几种方法

• 基于词袋模型[6]
  利用待消歧实体周边的词来构造向量，利用向量空间模型来计算两个实体指称项的相似度,进行聚类。

• 基于语义特征[7]
  词袋模型没有考虑词的语义信息，本文利用SVD分解挖掘词的语义信息，利用词袋和浅层语义特征，共同来表示指称项，利用余弦相似度来计算两个指称项的相似度。

• 基于社会化网络[8]
  不同的人具有不同的社会关系，利用实体的社会化关联信息所表现出来的网页链接特征，对网页进行聚类，从而实现网页内的人名聚类消歧。

• 基于Wikipedia[9]
  Wikipedia中相关实体具有链接关系，这种链接关系反映条目之间的语义相关度。在维基百科当中，语义关联度最高的概念会共同链接更多的概念[11]。
  

  $$sr(a,b) = \frac{\log{(max(A,B))}-\log{(A \cap B)}}{\log{(W)-\log{(min(A,B))}}}$$
  其中，A、B表示概念a、b的链接数，W表示维基百科中总共实体的个数。
  文献[9]用实体上下文的维基条目对于实体进行向量表示，利用维基条目之间的相关度计算指称项之间的相似度，从而解决数据稀疏问题

• 基于多源异构知识[10]
  仅仅考虑Wikipedia一种知识源，覆盖度有限。知识源中存在大量的多源异构知识，挖掘和集成多源异构知识可以提高实体消歧的性能。该文献利用维基百科、Wordnet、Web网页库（挖掘社会关联）三种知识源，利用语义图来表示多源异构数据。在语义图中，利用语义图的边表示显示语义关联，利用语义图的机构表示隐藏语义关联。

基于聚类的方法主要集中在语义表示上，但也有挑战，首先是消岐目标难以确定，第二是缺乏实体的显式表示。

3.3 基于链接的实体消岐

其基本目标在于给定实体指称项和它所在的文本，将其链接到给定知识库中的相应实体上。主要的步骤分为两步：

• 候选实体的发现
  给定实体指称项，链接系统根据知识、规则等信息找到实体指称项的候选实体

• 候选实体的链接
  系统根据指称项和候选实体之间的相似度等特征，选择实体指称项的目标实体

3.3.1 候选实体的发现

主要有两种方法：

• 利用维基百科信息
  利用Wikipedia中锚文本的超级链接关系、利用Wikipedia中的消歧页面、利用Wikipedia中的重定向页面。

• 利用上下文信息[12]
  文献[12]主要利用上下文获取缩略语候选实体。缩略语指称项具有很强的歧义性,但它的全称往往是没有歧义的。在实体指称项文本中,缩略语的全称出现过。利用人工规则抽取实体候选。

3.3.2 候选实体链接

基本方法:计算实体指称项和候选实体的相似度,选择相似度最大的候选实体.

3.3.2.1 单一实体链接

• BOW模型[13, 14]
  基于词袋子模型计算相似度。将实体指称项上下文文本与候选实体上下文文本表示成词袋子向量形式，通过计算向量间的夹角确定指称项与候选实体相似度，系统选择相似度最大的候选实体进行链接。

• 加入候选实体的类别特征[15]
  针对候选实体的文本内容可能太短,会导致相似度计算的不准确的问题，文献[15]加入指称项文本中的词与候选实体类别的共现特征。例:除了计算待消歧文本和实体Wikipedia文本John Williams (composer)的相似度外，还考虑当前文本中的词语与Music, Art等类别（实体所属类别）的共现信息。利用SVM分类器进行选择，利用特征为文本相似度和指称项文本中词与候选实体 类别的共现信息。

• 加入候选实体的流行度等特征[16]
  针对传统的方法仅仅是计算实体指称项与候选实体的相似度，忽略了候选实体的背景知识与先验信息，如实体本身的流行度、实体与指称项的关系等问题，本文考虑实体的背景知识，将实体的背景知识融入到实体链接的过程，实体的背景知识和先验信息主要有
  实体流行度:实体e在知识库中的概率P(e)
  名称的知识:指称项s指向实体e的概率P(s|e)
  上下文知识:实体e出现在特定上下文环境c的概率P(c|e)

3.3.2.2 协同实体链接
该方法主要针对同一篇文档中实体之间具有语义相关性，因此利用Pairwise优化策略。

$$\frac{1}{C_{|S_o|}^2}\sum_{s \neq s^{'} \in S_0}r(y_s,y_{s_{'}})+\frac{1}{|S_o|}\sum_{s \in S_o}\omega^Tf_s(y_s)$$
前一项为任意两个目标实体之间的语义相关度，后一项为实体指称项到目标实体的语义相似度。即在进行实体链接的时候，不仅考虑链接可能最大化，也要一篇文档中实体之间的语义相关性更大。
针对目标实体之间的语义相似度的计算方法有两种：一是利用实体类别重合度计算目标实体语义相似度[17]；二是利用实体之间链接关系计算目标实体语义相似度[18]。

• 基于图的协同链接[19]
  Pairwise策略只考虑两两实体关系，结果不是最优的，采用图方法，全局考虑目标实体之间的语义关联。该图由两种关系组成，该指称项文本与实体文本的相似度,由传统的VSM模型得到和实体之间的语义关系，利用目标实体之间的链接关系计算实体之间的语义相关度。

• 基于深度学习的方法[20]
  传统的方法中，计算待消歧实体上下文和目标实体语义相似度的方法(点乘、余弦相似度、KL距离等)可扩展性差，没有考虑各个概念间的内在联系。在协同过滤的方法中，计算待消歧实体上下文和目标实体语义相似度也是基础工作。文献提出提出利用深度学习的方法自动联合学习实体和文档的表示,进而完成实体链接任务。

• 跨语言实体链接[21]
  给定一种语言的实体指称项和其所在的上下文，将其链接到另外一种语言的知识库中，传统方法要先翻译成目标语言，可能产生错误传递，需要大量的句子级平行的双语训练语料。本文利用双语隐含主题模型将实体指称项与候选实体映射到同一个主题空间中，每一个隐含主题有两种不同的分布，分别对应两种不同语言，处于同一个主题分布下的两种不同语言的词的分布具有一些共性。

• 结构化数据中的实体链接[22]
  结构化数据没有上下文，任务与传统的实体链接不同，主要利用实体的流行度和实体共现类型去消歧。

• 社交数据中的实体链接[23]
  社交媒体(Twitter)是一种重要的信息来源，社交媒体的上下文较短，语言表述不规范。文献利用tweet的用户信息和tweet的交互信息进行链接。

目前实体链接方法主要是如何更有效挖掘实体指称项信息，如何更准确地计算实体指称项和实体概念之间的相似度。难点在于未登录实体的处理。

参考文献

[1] Grishman R. Information extraction: Techniques and challenges[M]//Information extraction a multidisciplinary approach to an emerging information technology. Springer Berlin Heidelberg, 1997: 10-27.
[2] Wu Y, Zhao J, Xu B, et al. Chinese named entity recognition based on multiple features[C]//Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2005: 427-434.
[3] Paşca M. Weakly-supervised discovery of named entities using web search queries[C]//Proceedings of the sixteenth ACM conference on Conference on information and knowledge management. ACM, 2007: 683-690.
[4] Wang R C, Cohen W W. Language-independent set expansion of named entities using the web[C]//Data Mining, 2007. ICDM 2007. Seventh IEEE International Conference on. IEEE, 2007: 342-350.
[5] Pennacchiotti M, Pantel P. Entity extraction via ensemble semantics[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 1-Volume 1. Association for Computational Linguistics, 2009: 238-247.
[6] Baldwin B, Bagga A. Coreference as the foundations for link analysis over free text databases[C]//Proceedings of the COLING-ACL. 1998, 98: 19-24.
[7] Pedersen T, Purandare A, Kulkarni A. Name discrimination by clustering similar contexts[M]//Computational Linguistics and Intelligent Text Processing. Springer Berlin Heidelberg, 2005: 226-237.
[8] Bekkerman R, McCallum A. Disambiguating web appearances of people in a social network[C]//Proceedings of the 14th international conference on World Wide Web. ACM, 2005: 463-470.
[9] Han X, Zhao J. Named entity disambiguation by leveraging wikipedia semantic knowledge[C]//Proceedings of the 18th ACM conference on Information and knowledge management. ACM, 2009: 215-224.
[10] Han X, Zhao J. Structural semantic relatedness: a knowledge-based method to named entity disambiguation[C]//Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2010: 50-59.
[11] Milne D, Witten I H. Learning to link with wikipedia[C]//Proceedings of the 17th ACM conference on Information and knowledge management. ACM, 2008: 509-518.
[12] Zhang W, Sim Y C, Su J, et al. Entity linking with effective acronym expansion, instance selection and topic modeling[C]// International Joint Conference on Artificial Intelligence. AAAI Press, 2011:1909-1914.
[13] Honnibal M, Dale R. DAMSEL: The DSTO/Macquarie system for entity-linking[C]//Proceedings of the Second Text Analysis Conference. ==NIST==, 2009.
[14] Bikel D, Castelli V, Florian R, et al. Entity linking and slot filling through statistical processing and inference rules[C]//Proceedings of the Second Text Analysis Conference. ==NIST==, 2009.
[15] Bunescu R C, Pasca M. Using Encyclopedic Knowledge for Named entity Disambiguation.[C]// Eacl 2006, Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the Conference, April 3-7, 2006, Trento, Italy. 2006:9–16.
[16] Han B, Baldwin T. Lexical normalisation of short text messages: Makn sens a# twitter[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume 1. Association for Computational Linguistics, 2011: 368-378.
[17] Cucerzan S. Large-Scale Named Entity Disambiguation Based on Wikipedia Data[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. ACL, 2007, 7: 708-716.
[18] Kulkarni S, Singh A, Ramakrishnan G, et al. Collective annotation of Wikipedia entities in web text[C]//Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2009: 457-466.
[19] Han X, Sun L, Zhao J. Collective entity linking in web text: a graph-based method[C]//Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval. ACM, 2011: 765-774.
[20] He Z, Liu S, Li M, et al. Learning Entity Representation for Entity Disambiguation[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics. ACL, 2013: 30-34.
[21] Zhang T, Liu K, Zhao J. Cross Lingual Entity Linking with Bilingual Topic Model[C]//Proceedings of the International Joint Conference on Artificial Intelligence. Morgan Kaufmann, 2013.
[22] Shen W, Wang J, Luo P, et al. LIEGE:: link entities in web lists with knowledge base[C]//Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2012: 1424-1432.
[23] Shen W, Wang J, Luo P, et al. Linking named entities in tweets with knowledge base via user interest modeling[C]//Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2013: 68-76.