tf-idf关键词提取算法_tf idf意图检测

tf-idf简介

在信息提取的应用场景之中，我们往往需要一些文本中的重要的词而不是文本中的所有词语来进行分析，即使原文本已经进行了去停用词的处理。
那么什么样的词算是文本中的关键词呢？一方面，这个词应该在文本中出现的次数比较多；另一方面，这个词应该不那么常见，若是这个词在很多文档中都有出现，这个词显然不能用来作为代表某个文档的重要词汇。一个合适的算法便是tf-idf算法。
tf-idf是term frequency–inverse document frequency的缩写。该算法用一种统计学的方法来衡量一个词语在文本中的重要程度，常被用于信息提取、文本挖掘等场景之中。该算法的核心便是计算一个文本中某个词语的tf值与idf值。

tf计算

tf是term frequency的缩写，指文本中的词频。衡量一个词语在文档中的出现频率有很多方法，最简单也足够有效的，便是直接计算这个词出现的次数，来作为这个词的tf值。

idf计算

idf是inverse document frequency的缩写，指“逆文档频率”，是一个用来衡量一个词常见程度的值。这个值的计算不应该基于单个文档，而应该考虑所有要进行分析的文档，来得出结果。
idf值的计算方法也有很多，这里仅提供一个常见的公式：