赞
踩
上一篇文章我们着手搭建了大数据平台所需要的虚拟机环境,那么接下来我们来搭建hadoop环境。
Hadoop:3.2.4版本
Hadoop官方下载地址
jdk:1.8.0 linux版本
jdk1.8官方下载地址
注意:不要下载source版,source版是源码下载,用于研究源码或者maven构建编译打包的。我们现选择binary版,可以直接下载后解压配置文件使用的。
如果需要其他Hadoop版本的,进入下方的官方收录版本库里寻找自己想要的版本
Hadoop官方历史版本下载
建立一个专门用于存放Hadoop压缩包和解压后的Hadoop文件
注意一定要在home目录下的对应大数据专用用户下存放和安装
tools目录用于安装后、tools_bck用于存放压缩包等
注意:官方下载需要登录oracle账户,而且部分时候容易连接失败
利用xftp,将jdk传输到所有机子的/home/spark/tools_bck目录
命令:tar -zxf jdk-8u351-linux-x64.tar.gz -C /home/spark/tools
在~/.bashrc 文件末尾加上如下的三行代码:
#set java environment
export JAVA_HOME=/home/spark/tools/jdk1.8.0_351
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
然后运行source ~/.bashrc 让环境变量生效,输入java -version检测配置
主机名 | 主机IP | 作用 |
---|---|---|
master | 192.168.xxx.140 | Namenode;SecondaryNamenode;ResourceManager;JobHistoryServer |
slaver1 | 192.168.xxx.141 | Datanode; NodeManger |
slaver2 | 192.168.xxx.142 | Datanode; NodeManger |
slaver3 | 192.168.xxx.143 | Datanode; NodeManger |
命令:tar -zxf hadoop-3.2.4.tar.gz -C /home/spark/tools
命令:vim ~./bashrc
在最下面新增如下:
#set Hadoop environment
export HADOOP_HOME=/home/spark/tools/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
输入source ~/.bashrc 让环境变量生效,输入hadoop version检测配置
注意:如果此时输入hadoop version 是报错的,可能是还没有配置jdk环境,请返回上面配置好
命令1:cd /home/spark/tools/hadoop-3.2.4/etc/hadoop
命令2:vim hadoop-env.sh
新增如下代码
export JAVA_HOME=/home/spark/tools/jdk1.8.0_351
命令2:vim core-site.xml
新增如下:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9820</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/spark/tools/hadoop-3.2.4/tmp</value>
</property>
</configuration>
命令:vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/spark/tools/hadoop-3.2.4/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/spark/tools/hadoop-3.2.4/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9868</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
命令:vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
命令:vim yarn-site.xml
<!-- Site specific YARN configuration properties -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
命令:vim yarn-env.sh
###
#set some java parameters
export JAVA_HOME=/home/spark/tools/jdk1.8.0_351
命令:vim workers
删掉原有的,改为如下:
依次输入命令:
scp -r /home/spark/tools/hadoop-3.2.4 slaver1:/home/spark/tools
scp -r /home/spark/tools/hadoop-3.2.4 slaver2:/home/spark/tools
scp -r /home/spark/tools/hadoop-3.2.4 slaver3:/home/spark/tools
需要在Hadoop 安装目录下的 bin 目录里的 hdfs 命令进行格式化
即:/home/spark/tools/hadoop-3.2.4/bin
命令:./hdfs namenode -format
以下命令需要在/home/spark/tools/hadoop-3.2.4/sbin中进行
命令1:./start-dfs.sh(HDFS 集群)
命令2:./start-yarn.sh(Yarn 集群)
命令3:./mr-jobhistory-daemon.sh start historyserver(日志服务)
输入后利用jps对主节点和从节点检查
主节点
从节点
在 Windows 系统中设置 IP 映射
对hosts新增如下
http://master:9870(查看 HDFS 集群监控)
http://master:8088(查看 YARN 集群监控)
同样需要在sbin目录下进行
命令1:./stop-dfs.sh(HDFS 集群)
命令2:./stop-yarn.sh(Yarn 集群)
命令3:./mr-jobhistory-daemon.sh stop historyserver(日志服务
好了,到这里我们的Hadoop集群就已经搭建好了,如果有错误的地方,欢迎各位指出哈
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。