赞
踩
打开VMware,点击文件->点击虚拟机->创建新的虚拟机
虚拟机安装设置
选择和自身电脑时间一样即可
点击软件选择->点击GHOME->点击完成
点击其他存储设置->点击我要配置分区->点击完成
点击选择为标准分区->点击+(加号)
把启用kdump前的对勾去掉
打开网络按钮 -> 修改主机名 -> 点击应用 -> 点击完成
这个随便好了
打开虚拟机,进行ip配置
输入命令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 回车
执行systemctl restart network命令,重启网络服务
关闭防火墙,关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld.service
修改主机名
hostnamectl set-hostname hadoop101(hadoop101为主机名)
重启
reboot
首先,下载好,jdk和hadoop的压缩包,还有Xshell和Xftp软件
链接:https://pan.baidu.com/s/1vbPMqrK8pkLnlxp5zwJQHg?pwd=u7ge
提取码:u7ge
打开Xshell
配置JDK
执行命令:
vim /etc/profile
文件中填写这些
export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/jdk1.8.0_211
export PATH=$JAVA_HOME/bin:$PATH
按esc,shift+; 输入wq回车
生效JDK
source /etc/profile
配置SSH免密登录
# 执行该命令后遇到提示信息,一直按回车就可以
ssh-keygen -t rsa
# 将你的公共密钥填充到一个远程机器上的authorized_keys文件中,注意将下边命令里的hadoop修改为自己主机的名字
ssh-copy-id hadoop101
进入hadoop所在配置文件目录,例如/usr/hadoop-3.3.6/etc/hadoop
在此目录打开终端
配置hadoop-env.sh文件
执行命令
vim hadoop-env.sh
在文件中添加如图所示代码:
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export JAVA_HOME=/usr/jdk1.8
HADOOP_SHELL_EXECNAME=root
修改core-site.xml文件(一定根据自己虚拟机进行修改,不要直接复制)
执行命令
vim core-stie.xml
添加如下代码
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/app/hadoop/tmp</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
</configuration>
修改hdfs-site.xml
执行命令
vim hdfs-stie.xml
添加如下代码
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hadoop3/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hadoop3/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改mapred-site.xml
执行命令
vim mapred-stie.xml
添加如下代码
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml
执行命令
vim yarn-stie.xml
添加如下代码:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
修改workers文件
执行命令
vim workers
添加如下代码:
master
(说明:这个是你的主机名称hostname)
第一次使用需要格式化集群
hdfs namenode -format
出现如图所框选的信息表明成功
启动集群
start-all.sh
#或者分别启动hdfs和yarn
start-dfs.sh
start-yarn.sh
执行jps命令进行验证是否启动成功,出现以下5个进程表示启动成功。
完成,谢谢大家!!!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。