当前位置:   article > 正文

哈希表的应用之1:用哈希法统计大数据词频_哈希表统计词频

哈希表统计词频

问题背景

给出一篇文章,默认已经分好词了(一个单词一行),问如何统计各个单词的词频?

这个问题可以延伸出其他几个问题
1,热搜的关键词是如何出来的,就是给你一堆的大数据量的词,问你如何从中找出词频最高的几个词。
2,给你一堆大数据量的单词列表,问某个单词第一次出现的位置
3,大数据去重,用哈希表存储后的数据就是去重了的

以上几个问题都可以通过哈希表解决,同时也有取代它的方法,那就是字典树

解决问题

我们首先需要解决的问题就是统计词频,统计词频的原理是这样,把单词作为建(因为每个单词都不同,具有唯一性),词频作为键值。这样就可以用C++里面的数据结构map完美的cover掉这个问题。
map

代码

#include <iostream>
#include <string>
#include <map>
using namespace 
  • 1
  • 2
  • 3
  • 4
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/830120
推荐阅读
相关标签
  

闽ICP备14008679号