自然语言处理 -关键词提取之TFIDF方法_get_tfidf

1. TF-IDF 简介

TF-IDF（Terms Frequency-Inverse Document Frequency）主要思想：如果某个单词在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

词频（Term Frequency, TF），即一个词条在文本中出现的频率。逆向文件频率（Inverse Document Frequency, IDF），总文件数除以包含该词条的文件数，再取对数。包含词条的文档越少，则 IDF 越大，则说明词条有很好的区分能力。

TF-IDF 即 TF, IDF 的乘积，一个词条个特定文件中出现频率越高，且包含它的文件个数越少，则对应的 TF-IDF 值越大。 TF-IDF 倾向于过滤掉常见的词语，比如在多个文件中出现但频率较低的词语。

2. 算法实现

2.1 依赖于分词器

对于一段话，首先我们使用 jieba.cut() 进行分词。然后通过停用词字典移除停用词。每一个词的词频我们也很容易计算得到（_calculate()）。如果我们将这段话看成一个文档，那么所有词的 IDF 都一样，我们无法得到有用的信息，因此我们需要用于预测训练好的 IDF 表 (get_idf())。

IDF 文件来源于 jieba 组件。

import os
import math
import sys
import operator
import smart_open
import jieba
import jieba.posseg as pseg
from jieba import analyse
from typing import List
from collections import Counter

def get_idf(local_file: str = 'idf.txt') -> dict:
    # Use pre-train idf
    idf = dict(l.split(' ') for l in open(local_file, 'r').read().splitlines(
1
2
3
4
5
6
7
8
9
10
11
12
13