python gensim 中 TF-IDF 的计算方法_tfidf.model计算方法

step 1.  去掉所有文本中都会出现的词

eg. original_texts = 

[['这是', '一个', '文本'], ['这是', '第二个', '文本'], ['这是', '又一个', '文本'], ['这是', '最后', '一个', '文本']]

去掉所有文本中均出现的词后的文本:

texts_filter = [[ '一个'], ['第二个'], [ '又一个'], [ '最后', '一个']]

step 2. 计算文本中剩余单词的tf-idf值，默认得计算公式：

tf_idf = word_freq * log（全部文本数 / 包含该词的文本数）

这里不需要做平滑化的处理， 因为已经把全部文本中都会出现的词拿掉了

from gensim.models.tfidfmodel import TfidfModel
from gensim import corpora
 
 
texts = [['这是', '一个', '文本'], ['这是', '第二个', '文本'], ['这是', '又一个', '文本'], ['这是', '最后', '一个', '文本']]
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
tf_idf_model = TfidfModel(corpus, normalize=False)
word_tf_tdf = list(tf_idf_model[corpus])
print('词典:', dictionary.token2id)
print('词频:', corpus)
print('词的tf-idf值:', word_tf_tdf)
 
 
 
 
# result
词典: {'一个': 0, '文本': 1, '这是': 2, '第二个': 3, '又一个': 4, '最后': 5}
词频: [[(0, 1), (1, 1), (2, 1)], [(1, 1), (2, 1), (3, 1)], [(1, 1), (2, 1), (4, 1)], [(0, 1), (1, 1), (2, 1), (5, 1)]]
词的tf-idf值: [[(0, 1.0)], [(3, 2.0)], [(4, 2.0)], [(0, 1.0), (5, 2.0)]]