TF-IDF算法提取文章的关键词_根据构建的字典和tf-idf算法,提取文章的前5个关键字

初学中文文本分词，从最简单的TF-IDF算法入手，理解其中的逻辑结构，其中使用jieba分词包作为分词模型。这里部分内容参考了_hahaha的博客。

TF-IDF原理

jieba分词提取关键词是按照词频（即每个词在文章中出现的次数）来提取的，比如要提取文章的前五个关键词，那么就是提取文章中出现次数最多的前五个词。而TF-IDF算法不仅统计每个词的词频，还为每个词加上权重。

举个例子

我们在大学选修了数学和体育两门课，数学为9学分，体育为1学分，期末的时候考试成绩分别为60和100分，那么如果我们说平均分是80分合理吗？其实是不合理的，因为一个9学分，一个1学分，我们投入的时间和精力是不一样的，所以应该用(9/10*60)+(1/10*100)=64分这样更为合理一些，这里80分是平均值，64分是数学期望，所以我们也说数学期望是加权的平均值。

TF-IDF计算公式

TF = 该词在文档中出现的次数
IDF = log2(文档总数／包含该词的文档数量 + 1)
TF-IDF = TF * IDF

• 开发环境

系统: Win10； 开发软件: PyChram CE； 运行环境: Python3.6

• 导入所需用的包

import os
import codecs
import pandas
import re
import jieba
import numpy