Topical Word Embeddings

https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/viewFile/9314/9535

AAAI 15

刘知远

代码 https://github.com/largelymfs/topicalwordembeddings

大多数单词嵌入模型通常使用单个向量来表示每个单词，使得这些模型不能对普遍存在的同义词和多义词进行有效区分。 为了增强判别力，我们采用潜在主题模型为文本语料库中的每个单词分配主题，并基于单词及其主题学习主题词嵌入（TWE）。 通过这种方式，可以灵活地获得上下文单词嵌入以度量上下文单词相似性。

本文为多原型单词嵌入提出了一个更灵活，更强大的框架，即主题词嵌入（TWE），其中主题词指的是将特定主题作为单词的上下文。 TWE的基本思想是，允许每个单词在不同主题下具有不同的嵌入。采用广泛使用的LDA来获取单词主题，并执行收缩Gibbs抽样迭代地为每个单词标记分配潜在主题。以这种方式，给定一系列单词，在LDA收敛之后，每个单词标记将被识别为特定主题，形成单词 - 主题对，这可以用来学习主题词嵌入。我们设计了三个TWE模型来学习主题词向量，如图1所示，其中窗口大小为1，而和是的上下文单词。

TWE-1。我们将每个主题视为伪词，并分别学习主题嵌入和单词嵌入。然后，我们根据和的嵌入构建的主题词嵌入。

TWE-2。我们将每个单词 - 主题对视为伪词，并直接学习主题词嵌入。

TWE-3。我们为每个单词和每个主题保留不同的嵌入。我们通过连接相应的单词和主题嵌入来构建每个单词 - 主题对的嵌入用于学习。

在三个TWE模型中，TWE-1不考虑单词与其指定的学习主题之间的直接交互。 TWE-2通过简单地将该对作为伪词来考虑词-主题对的内部交互，但它受到稀疏性问题的困扰，因为每个词的出现都严格地区分为不同的主题。与TWE-2相比，TWE-3在区分性和稀疏性之间进行权衡。但是在TWE-3的学习过程中，主题嵌入会影响相应的单词嵌入，这可能会使同一主题中的单词不那么具有辨别力。

图1. Skip-Gram和TWE模型。 蓝色圆圈表示单词嵌入，绿色圆圈表示主题嵌入。 由于TWE-2不保留独立的单词/主题嵌入，我们只是使用蓝色圆圈代表TWE-2中的主题词嵌入。

岂不是对同一篇文章中不同位置的相同词都要学？词典不就无穷大了？