解密TF-IDF：打开文本分析的黑匣子_对txt文件批量tfidf分析

1.TF-IDF概述

TF-IDF，全称是“Term Frequency-Inverse Document Frequency”，中文意为“词频-逆文档频率”。这是一种在信息检索和文本挖掘中常用的加权技术。TF-IDF用于评估一个词语对于一个在语料库中的文件集或一个语料库中的其中一份文件的重要程度。它是一种统计方法，用以评估词语对于一个文件集或一个查询库中的其中之一的重要性。其基本思想是：如果某个词语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为这个词语具有很好的类别区分能力，适合用来分类。

TF-IDF算法由两部分组成：TF（词频）和IDF（逆文档频率）。下面是它们的详细介绍：

1. 词频（TF）：

   • 定义：某个词在文章中的出现次数。这个数字通常会被规范化（通常是词频除以文章总词数），以防止它偏向长的文件。（即，某一特定词语的出现次数除以该文件的总词数）
   • 计算方法：$\text{TF}(t)=\frac{\text{在某一类中词条t出现的次数}}{\text{该类中所有的词条数目}}$

2. 逆文档频率（IDF）：

   • 定义：逆文档频率是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。
   • 计算方法：$\text{IDF}(t)=\log \frac{\text{语料库的文档总数}}{\text{包含词条t的文档数目}+1}$
   • 注意：分母之所以要加1，是为了避免分母为0（即避免该词语不在语料库中出现过）。

因此，TF-IDF实际上是：$\text{TF-IDF}(t)=\text{TF}(t)\times \text{IDF}(t)$

这个值越大，表示词语在文本中的重要性越高。TF-IDF经常用于文本挖掘、用户建模、信息检索领域，例如在搜索引擎中，用于评估和排列文档相对于用户查询的相关性。TF-IDF的优点是简单快速，而且容易理解。但它也有缺点，例如它不能完全捕捉词语之间的相互信息，也不能考虑词序和语义信息。

2.TextBlob库介绍

TextBlob 是一个简单的Python库，用于处理文本数据，并执行常见的自然语言处理（NLP）任务。它建立在NLTK和Pattern库之上，提供了一个直观的接口来处理文本数据，使得文本分析和操作变得更加容易。TextBlob非常适合初学者，因为它的API简单易用。

下面是TextBlob的一些主要功能和用法：

1. 情感分析：

   • TextBlob可以用于分析文本的情感，即文本是正面的、负面的还是中性的。它为此提供了一个简单的API，可以直接给出情感极性（正面或负面）和主观性（客观或主观）的分数。
   • 例如：blob = tb("I love TextBlob. It's amazing!")，然后使用blob.sentiment来获取情感分析的结果。

2. 分词：

   • TextBlob可以将文本分解为单词或句子。这在进行词频统计、情感分析或其他语言处理任务之前非常有用。
   • 例如：blob.words和blob.sentences可以分别用于获取单词和句子。

3. 词性标注：

   • TextBlob可以自动为文本中的每个单词进行词性标注（如名词、动词、形容词等）。
   • 使用blob.tags可以获取词性标注的结果。

4. 翻译和语言检测：

   • TextBlob能够将文本翻译成另一种语言，并且能够检测文本的语言。
   • 通过blob.translate(to='es')可以将文本翻译成西班牙语，blob.detect_language()用于检测文本的语言。

5. 名词短语提取：

   • TextBlob还可以从文本中提取名词短语，这对于提取关键信息特别有用。
   • 使用blob.noun_phrases可以提取名词短语。

6. 拼写检查和纠正：

   • TextBlob还提供了简单的拼写检查和纠正功能。
   • 使用blob.correct()可以纠正文本中的拼写错误。

安装TextBlob相当简单，只需使用pip命令：pip install textblob。一旦安装，您就可以开始导入TextBlob并对文本进行各种操作。

总的来说，TextBlob是一个功能强大而又易于使用的工具，非常适合进行快速的文本分析和处理，特别是对于NLP入门者。

3.代码实现

这个代码使用 TF-IDF 查找文本中的重要单词，主要包括了计算TF-IDF值的几个关键步骤。以下是对代码的逐步解释：

1. 导入必要的库：

   • 首先，代码导入了math和textblob库。math用于执行数学运算，如对数计算；TextBlob用于文本处理，如分词。

2. 定义TF（词频）函数：

   • tf函数计算特定单词在文档中的词频。这是通过将单词在文档中出现的次数除以文档中的总词数来实现的。

3. 定义文档计数函数：

   • n_containing函数统计在多少个文档中出现了特定的单词。这对于后续的IDF计算非常重要。

4. 定义IDF（逆文档频率）函数：

   • idf函数计算单词的逆文档频率。它使用了math.log函数来获取文档总数除以出现该单词的文档数的对数值。

5. 定义TF-IDF计算函数：

   • tfidf函数结合了上面的tf和idf函数，通过相乘来得到特定单词在特定文档中的TF-IDF值。

6. 创建文档实例：

   • 代码中创建了三个TextBlob文档实例（document1、document2和document3），每个实例都包含一段文本。

7. 创建文档列表：

   • 将这三个文档放入一个列表bloblist，用于后续的TF-IDF计算。

8. 遍历每个文档并计算TF-IDF值：

   • 代码遍历bloblist中的每个文档，对每个文档中的每个单词计算TF-IDF值。
   • 对于每个文档，它创建了一个字典scores，键是单词，值是该单词的TF-IDF值。

9. 排序和打印结果：

   • 对于每个文档，代码通过TF-IDF值对单词进行排序，并打印每个文档的TF-IDF值最高的前五个单词及其分数。

import math
from textblob import TextBlob as tb

# 下载NLTK语料库，这通常只需要执行一次
import nltk
nltk.download('punkt')

# tf函数统计词语出现的频率
def tf(word, blob):
    return blob.words.count(word) / len(blob.words)

# 返回包含word单词的文档数目
def n_containing(word, bloblist):
    return sum(1 for blob in bloblist if word in blob.words)

# 统计逆词频
def idf(word, bloblist):
    return math.log(len(bloblist)/(1+n_containing(word, bloblist)))

def tfidf(word, blob, bloblist):
    return tf(word, blob) * idf(word, bloblist)

document1 = tb("""Python is a 2000 made-for-TV horror movie directed by Richard
Clabaugh. The film features several cult favorite actors, including William
Zabka of The Karate Kid fame, Wil Wheaton, Casper Van Dien, Jenny McCarthy,
Keith Coogan, Robert Englund (best known for his role as Freddy Krueger in the
A Nightmare on Elm Street series of films), Dana Barron, David Bowe, and Sean
Whalen. The film concerns a genetically engineered snake, a python, that
escapes and unleashes itself on a small town. It includes the classic final
girl scenario evident in films like Friday the 13th. It was filmed in Los Angeles,
 California and Malibu, California. Python was followed by two sequels: Python
 II (2002) and Boa vs. Python (2004), both also made-for-TV films.""")

document2 = tb("""Python, from the Greek word (πύθων/πύθωνας), is a genus of
nonvenomous pythons[2] found in Africa and Asia. Currently, 7 species are
recognised.[2] A member of this genus, P. reticulatus, is among the longest
snakes known.""")

document3 = tb("""The Colt Python is a .357 Magnum caliber revolver formerly
manufactured by Colt's Manufacturing Company of Hartford, Connecticut.
It is sometimes referred to as a "Combat Magnum".[1] It was first introduced
in 1955, the same year as Smith & Wesson's M29 .44 Magnum. The now discontinued
Colt Python targeted the premium revolver market segment. Some firearm
collectors and writers such as Jeff Cooper, Ian V. Hogg, Chuck Hawks, Leroy
Thompson, Renee Smeets and Martin Dougherty have described the Python as the
finest production revolver ever made.""")

bloblist = [document1, document2, document3]
for index, blob in enumerate(bloblist):
    print('Top words in document {}'.format(index+1))
    scores = {word: tfidf(word, blob, bloblist) for word in blob.words}
    # 按照得分降序排列
    sorted_words = sorted(scores.items(), key=lambda x: x[1], reverse=True)
    # 打印出得分前5单词
    for word, score in sorted_words[:5]:
        print("\tWord:{},TF-IDF:{}".format(word, round(score, 5)))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

这个代码实现提供了一个实用的方法来分析文本数据，并且可以揭示哪些单词对于文档的区分最为重要。您可以在这个基础上进一步扩展或修改代码，以适应更复杂的文本分析需求。

4.TF-IDF的应用

TF-IDF（词频-逆文档频率）是一种在文本处理中广泛使用的技术。它在多个领域有着重要的应用，特别是在信息检索、文档分类和聚类等方面。以下是TF-IDF在这些领域中应用的详细介绍：

1.信息检索

• 搜索引擎：在搜索引擎中，TF-IDF用于评估和排序与用户查询最相关的文档。当用户输入一个查询时，搜索引擎会计算查询中的关键词在每个文档中的TF-IDF值。文档的TF-IDF值越高，该文档与查询的相关性就越大，因此这些文档会被排在搜索结果的更前面。
• 关键词提取：TF-IDF还常用于从大量文本中提取关键词。通过计算整个文档集合中每个词的TF-IDF值，可以识别出哪些词对于文档的区分度最高，这些词通常是该文档的关键词。

2.文档分类和聚类

• 文档分类：TF-IDF在文档分类中的应用是通过计算文档集合中每个词的TF-IDF值，来确定文档的特征词集。这些特征词可以用作机器学习模型的输入，来对文档进行分类。例如，新闻文章可以根据它们的TF-IDF特征被分类到不同的主题如政治、体育或娱乐。
• 文档聚类：在无监督学习中，TF-IDF可以用于文档聚类。通过比较文档的TF-IDF特征向量，可以计算文档之间的相似度，并基于这些相似度将文档聚集成不同的群组或类别。

3.其他应用

• 情感分析：TF-IDF有时用于情感分析，通过加权特定词汇的情感倾向，帮助确定整个文档的情感色彩。
• 文本摘要：TF-IDF可以用于自动文本摘要，通过识别文本中的关键句子和短语来创建摘要。
• 推荐系统：在推荐系统中，TF-IDF有助于识别用户可能感兴趣的项目。例如，通过分析用户阅读过的文章的TF-IDF值，系统可以推荐类似主题的其他文章。

总体而言，TF-IDF是一种非常灵活的工具，可以应用于各种文本相关的领域。它的主要优势在于能够有效识别文档中重要的词汇，这些词汇在区分文档内容方面发挥着关键作用。然而，TF-IDF的一个局限性是它不能捕捉词汇之间的上下文关系，这在某些应用中可能是必需的。