当前位置:   article > 正文

调用hadoop下的jar完成单词统计练习——大数据分析及其可视化6_hadoop-mapreduce-examples-2.7.3.jar

hadoop-mapreduce-examples-2.7.3.jar

在之前的练习中我们是使用maven工具打包写好的代码上传到linux中运行jar包

其实在hadoop中的配置文件是有已经完成的MapReduce运算jar包

现在我们来尝试一下

上次我们在主节点完成单词统计

这次我们用子节点_dfp主机完成单词统计练习

执行上面的命令进入hadoop配置完成的文件夹中

我们发现在share文件下的hadoop文件内有写好的MapReduce文件里面有封装好的jar包

 

这个就是hadoop自带单词统计的jar包我们执行这个命令 

hadoop jar hadoop-mapreduce-examples-2.7.3.jar

可以看到系统提示我们怎么操作以及jar包有哪些命令。

执行单词统计命令:

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /data_input /h_data_output

格式=(hadoop jar 【jar包名】【操作】/【数据来源】/【数据输出文件】)1.这个数据输出文件夹一定是不存在的  2.确保数据来源有数据

查看输出数据

 hdfs dfs -ls /h_data_output
hdfs dfs -cat /h_data_output/part-r-00000

 

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/637861
推荐阅读
相关标签
  

闽ICP备14008679号