当前位置:   article > 正文

10 搭建Hadoop单机环境并进行测试_hadoop单机模式实验

hadoop单机模式实验

进行在刚刚进行jdk安装的服务器master上进行hadoop安装和配置。我们选择的hadoop版本为3.1.4。

    1.将hadoop-3.1.4上传到/opt/software目录下

2.将其解压到 /otp/module目录下

   命令: tar -zxvf  Hadoop-3.1.4.tar.gz   -C  /opt/module

可以进入/opt/module下查看解压包

输入命令: cd /opt/module

输入命令 : ls -l  

3.进行环境变量配置

输入命令: sudo  vim  /etc/profile.d/my_ens.sh

#HADOOP
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
 

保存后输入命令:source /etc/profile   更新配置文件

输入命令: hadoop version  显示版本信息说明hadoop环境变量配置成功。

4.查看hadoop目录

输入命令: cd  /opt/module/hadoop-3.1.4

通过ls -l查看此目录下的文件

5.测试单机环境

  5.1 编写单词文件

进⼊hadoop3.1.4⽬录下,创建⼀个⽬录input,进⼊input⽬录下,编辑⼀个⽂档,在⽂档中编写⼀些单词。

5.2 查看文档数据

5.3 统计单词出现次数

执⾏wordcount案例统计该⽂档中单词出现的次数
输入命令: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar  wordcount  input/word.txt  output

注意:找到jar文件使用相对路径  光标要定位到 Hadoop-3.1.4

(注意:自己在测试时,如果复制当前执行命令有可能执行不成功,建议按照命令自己输入)

以上表示MapReduce执行完成。

5.4 查看最终结果

以上操作完成单机环境配置及测试。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/煮酒与君饮/article/detail/804433
推荐阅读
相关标签
  

闽ICP备14008679号