赞
踩
单机版是hadoop的基础安装方式,在三种安装方式:单机、伪分布式、集群中,常作为MapReduce功能的测试环境,没必要开启hdfs和yarn。
本文介绍hadoop单机版MapReduce测试环境安装方式。
/opt/module
,操作用户可以是root或其他。tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/module/
vi /etc/profile.d/my_env.sh
#JAVA_HOME export是全局变量
export JAVA_HOME=/opt/module/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
如果为centos6 编辑文件:vi /etc/profile
,内容如上,需重新加载环境文件:source /etc/profile
验证jdk,查看版本:java -version
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
curl https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz -o hadoop-3.3.4.tar.gz
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/
,单机版安装就添加到系统环境变量。目录名 | 说明 |
---|---|
bin | 存放hadoop相关服务(hdfs、yarn、mapred)进行操作脚本 |
etc | 存放hadoop配置文件 |
lib | 存放hadoop本地库 |
sbin | 启动或停止hadoop各服务脚本 |
share | 存放hadoop依赖jar、文档、官方实例。 |
mkdir /opt/data /opt/data/input
vi /opt/data/input/data.txt
,内容如下:hello world
hello year
work and happy
执行MapReduce任务进行文本单词统计:/opt/module/hadoop-3.3.4/bin/hadoop jar /opt/module/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /opt/data/input/ /opt/data/output
,为方便理解此处使用物理路径。
jar
:标识执行jar,后面跟jar包路径wordcount
:为参数,表示执行单词统计/opt/data/input
:为数据源目录/opt/data/output
:结果输出目录,不要创建,输出目录必须不存在,否则会报错。出现如图 success
表示执行成功:
/opt/data/output
,查看结果目录:ll /opt/data/output/
,查看文件内容:cat /opt/data/output/part-r-00000
vi /etc/profile.d/my_env.sh
,增加如下内容:#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile && hadoop version
mkdir -p /opt/data/hadoop/name /opt/data/hadoop/data
vi /opt/module/hadoop-3.3.4/etc/hadoop/core-site.xml
,修改为如下内容<configuration> <!-- NameNode 地址设置--> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 数据存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>file:/opt/module/hadoop-3.3.4/data</value> <description>Abasefor other temporary directories.</description> </property> <!-- HDFS网页登录静态用户--> <property> <name>hadoop.http.staticuser.user</name> <value>root</value> </property> </configuration>
vi /opt/module/hadoop-3.3.4/etc/hadoop/hdfs-site.xml
,修改为如下内容<configuration> <!--NameNode web访问地址 --> <property> <name>dfs.namenode.http-address</name> <value>localhost:9870</value> </property> <!-- NameNode数据目录 --> <property> <name>dfs.namenode.name.dir</name> <value>file:/opt/data/hadoop/name</value> </property> <!-- DataNode数据目录 --> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/data/hadoop/data</value> </property> <!-- 数据副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
vi /opt/module/hadoop-3.3.4/sbin/start-dfs.sh
和 vi /opt/module/hadoop-3.3.4/sbin/stop-dfs.sh
,增加如下内容配置用户启动信息HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
首次 格式化hdfs:hdfs namenode -format
启动hdfs:start-dfs.sh
查看服务进程:jps
访问web页面:http://ip:9870/
上传文件:hadoop fs -put 本地文件 /
查看文件:hadoop fs -ls /
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。