3.使用xshell进行配置Hadoop_xshell怎么配置配置 hadoop-env.sh 文件

一.预备准备

1.关闭防火墙

关闭防火墙的命令

systemctl stop firewalld.service    
1

关闭防火墙的开机自启

systemctl disable firewalld.service
1

2.新建文件夹（放置安装好的文件）

mkdir -p /opt/apps /opt/
1

3.解压文件

输入命令解压java和Hadoop

tar -zxvf 地址/jdk-8u221-linux-x64.tar.gz -C /opt/apps/
tar -zxvf 地址/hadoop-2.7.7.tar.gz -C /opt/apps/
1
2

成功后如下图

4.修改hosts文件

vim /etc/hosts
1

在末尾添加

主机IP 主机名
1

5.权限设置

vim /etc/sudoers
1

在下插入

hadoop1  ALL=(ALL)       NOPASSWD:ALL
1

二.jdk配置

1.删除原有java

查询已经安装的java

rpm -qa | grep java
1

命令删除

rpm -e ** --nodeps
1

2.配置profile

进入profile

sudo vim /etc/profile
1

在末尾添加

export JAVA_HOME=/opt/apps/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
1
2

更新profile

source /etc/profile
1

查看配置是否成功

java -version 
1

如图成功

3.拍摄快照（防止后面操作失误【可不进行】）

三.配置hdoop的profile

进入profile

sudo vim /etc/profile
1

末尾添加

export HADOOP_HOME=/opt/apps/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

刷新配置

source /etc/profile
1

验证hadoop是否配置成功

hadoop version
1

四.克隆虚拟机

1.更改主机名

hostnamectl set-hostname xxx  
1

重复修改剩下的主机

2.更改网络IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33
1

更新网络

service network restart 
1

重复修改剩下的主机

五.配置ssh免密

生成公钥

ssh-keygen -t rsa  
1

全部回车

拷贝公钥

ssh-copy-id 要拷贝到的机器ip
1

完成主节点通从节点，从节点通主节点

测试是否成功

六.配置hdoop

进入hadoop配置文件处

cd /opt/apps/hadoop-2.7.7/etc/hadoop
1

1.配置 hadoop-env.sh

vim hadoop-env.sh
1

export JAVA_HOME=/opt/apps/jdk1.8.0_221
1

2.配置core-site.xml

该文件用于指定Namenode

vim core-site.xml
1

<property>
      <name>hadoop.tmp.dir</name>
            <value>/home/apps/hadoop-2.7.7/data/tmp</value>
                  <description>Abase for other temporary directories.</description>
</property>
<property>
      <name>fs.defaultFS</name>
            <value>hdfs://tang1:9000</value> 
</property>
1
2
3
4
5
6
7
8
9

tang1 为主节点主机名

3.配置hdfs-site.xml

vi hdfs-site.xml
1

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/apps/hadoop-2.7.7/data/tmp/dfs/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/apps/hadoop-2.7.7/data/tmp/dfs/data</value>
</property>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

4.配置mapred-site.xml

cp -i mapred-site.xml.template mapred-site.xml
1

vi mapred-site.xml
1

<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>

<property>
      <name>mapreduce.jobhistory.address</name>
      <value>tang1:10020</value> 
</property>

<property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>tang1:19888</value> 
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

tang1为主节点主机名

5.配置slaves

vi slaves
1

hadoop1 #主节点
hadoop2 #从节点
hadoop3 #从节点
1
2
3

6.拷贝hdoop到从节点

scp  -r  地址/hadoop**  **:/地址
1

三.启动Hadoop

1.格式化

hdfs  namenode  -format  
1

启动Hadoop所有进程。

start-all.sh
1