自然语言处理(NLP)之gensim中的TF-IDF的计算方法_gensim计算tf-idf

自然语言处理(NLP)之gensim中的TF-IDF的计算方法

step 1.  去掉所有文本中都会出现的词

texts = [['这是', '一个', '文本'], ['这是', '第二个', '文本'], ['这是', '又一个', '文本'], ['这是', '最后', '一个', '文本']]

去掉所有文本中均出现的词后的文本:

texts_filter = [['一个'], ['第二个'], ['又一个'], ['最后', '一个']]

step 2. 计算文本中剩余单词的tf-idf值，默认得计算公式：

tf_idf = word_freq * log（全部文本数 / 包含该词的文本数）

这里不需要做平滑化的处理， 因为已经把全部文本中都会出现的词拿掉了

示例代码：

from gensim import corpora
from gensim.models.tfidfmodel import TfidfModel
 
texts = [['这是', '一个', '文本'], ['这是', '第二个', '文本'], ['这是', '又一个', '文本'], ['这是', '最后', '一个', '文本']]
dictionary = corpora.Dictionary(texts)
print(dictionary)
 
corpus = [dictionary.doc2bow(text) for text in texts]
print(corpus)
 
tf_idf_model = TfidfModel(corpus, normalize=False)
word_tf_idf = list(tf_idf_model[corpus])
 
print('词典：', dictionary.token2id)
print('词频：', corpus)
print('词的tf-idf值：', word_tf_idf)

运行结果：

Dictionary(6 unique tokens: ['一个', '文本', '这是', '第二个', '又一个']...)
[[(0, 1), (1, 1), (2, 1)], [(1, 1), (2, 1), (3, 1)], [(1, 1), (2, 1), (4, 1)], [(0, 1), (1, 1), (2, 1), (5, 1)]]
词典： {'一个': 0, '文本': 1, '这是': 2, '第二个': 3, '又一个': 4, '最后': 5}
词频： [[(0, 1), (1, 1), (2, 1)], [(1, 1), (2, 1), (3, 1)], [(1, 1), (2, 1), (4, 1)], [(0, 1), (1, 1), (2, 1), (5, 1)]]
词的tf-idf值： [[(0, 1.0)], [(3, 2.0)], [(4, 2.0)], [(0, 1.0), (5, 2.0)]]