当前位置:   article > 正文

TF-IDF算法学习报告

tfidf算法的学习心得

  TF-IDF是一种统计方法,这个算法在我们项目提取关键词的模块需要被用到,TF-IDF算法是用来估计

一个词汇对于一个文件集中一份文件的重要程度。从算法的定义中就可以看到,这个算法的有效实现是依靠

一定数据量的文件集作为基础的。字词的重要性随着他在文件中出现的次数呈正比例的关系增加,这一点很

符合常识,就是这个词出现的次数越多,那个这个词越重要,词的出现频度和他的重要程度之间呈现正关系。

为了抑制冠词等经常出现的无用词汇的重要程度,这个词汇的重要程度会在他在语料库中出现的频率成反比

下降,也就是说,如果在文件集中他出现的频率越高,那么说明这个词在文件集中越常见,那么他的重要程

度越低。

  所以TF-IDF算法的重要文件基础就是需要一个语料库,这个语料库越大,囊括的词汇越多,参与统计的

文件集数量越大,那么它对于词汇在普遍文件中出现频率的范颖效果就越好,那么它对于词汇在文档中重要

程度的修正效果就越准确,在我们的项目中,我们找到了网络上一些语言类高校公布出来的语料库,语聊库

文件通过excel文件编辑,在表格中记录了收纳进语料库的词汇,单个词汇的出现频度百分比,以及这个词汇

在语料库中出现频率的累计百分比。这使得我们可以方便的获取到各个词汇在文件集中出现的频率。

  在读取excel文件上,我们使用的OleDbDataAdapter完成对excel文件的读取,这里的操作和用sql命令

操作数据库的类似,读取指定数据库中指定表中的信息,每个表中单个元组内的信息可以通过select语句获取

到,更具获取到的每个词汇单独的出现频率就可以正常的使用TD-IDF算法。

  

转载于:https://www.cnblogs.com/R-81/p/6147774.html

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号