文本特征表示方法——词频-逆文档频率(TF-IDF)

文本特征表示方法——词频-逆文档频率(TF-IDF)

0 引言

\qquad 词频-逆文档频率(TF-IDF)是Salton于1988年提出的一种权重计算方法，用于判断字词对于一个文档集合的重要性。在介绍TF-IDF之前，需要先对词频(TF)、逆文档频率(IDF)分别进行介绍。

1 词频(Term Frequency, TF)

\qquad 词频(Term Frequency, TF)即词的频率，表示词条项在一个文档中出现的频率，计算公式如下:

$$t{f}_{t,d}=\frac{f_{t,d}}{n_d}$$

\qquad 其中，$t{f}_{t,d}$表示词条项$t$在某文档$D$中词频，$f_{t,d}$表示文档$D$中，特征词条$t$的频度(次数)，$n_d$表示文档$D$中所有词条项的总数量。本文中将词条项归一化后的结果作为词频，而有些文章会直接以词条项出现的次数作为词频，但是这就导致了文档长度会对词条项权重产生影响。

\qquad 但是词频仅仅考虑了词条项在某文档中的频率，而没有考虑词条项对于整个文档库或语料库的重要程度，并且也无法判断某词条项对不同文档的重要性，即词频无法作为文档类别区分的有效特征。比如，"我"在每篇文档中都有，它的词频很大，但这个字并不能有效区分文档类别。相反，"高兴"可能只出现在个别文档当中，它的词频很小，但是这个词条项却可以让我们知道，带有"喜欢"的文档的情感极性是正的。

2 逆向文档频率(inverse document frequency, IDF)

\qquad 逆向文档频率(inverse document frequency, IDF)是一种度量词条项在文档中重要性的方式。IDF的原理是对于某一个特征词条项，包含此词条项的文档数量越少，此词条项就具有越强的文档类别特征。具体公式如式:

$$\text{id}{f}_t=\log \frac{N}{d{f}_t}$$

\qquad 其中，$\text{id}{f}_t$为词条项$t$的逆文档频率，$N$为所有文档数量，$d{f}_t$为文档频率(document frequency)，表示出现词条项$t$的所有文档的数量。需要强调的是，在具体计算过程中，常常会将$d{f}_t+1$，防止出现词条项不在语料库中而造成分母为0的现象。

3 词频-逆文档频率(TF-IDF)

\qquad 词频-逆文档频率(TF-IDF)即通过综合考虑词的TF与IDF来计算特征词项的权重，其计算方法即特征词项的词频与逆文档频率的乘积。其计算公式:

$$\text{tf}-\text{id}{f}_{t,d}=t{f}_{t,d}\times \text{id}{f}_t$$

\qquad 对以上公式进行通俗解释：当词项只在少数几篇文档中多次出现时，权值最大，因为此时该词条能够对文档提供最强的区分能力；当词项在某篇文档中出现次数很少，或者在很多文档中出现，权重取值次之；当词项在所有文档中都出现时，权值最小。