hadoop配置文件

安装前的工作：

1. jdk
2. 集群中节计算机互联互通
3. 关闭防火墙
4. 节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/）
   (User用户 /home/user/.ssh/)
   A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys
   产生
   安装hadoop
   Bin目录-命令eg : hadoop namenode -format
   Sbin目录-各种启动文件\停止服务
   Etc/hadoop/ 各种配置文件
   
   1.hadoop-env.sh 环境配置

export JAVA_HOME=${JAVA_HOME}
[root@NAME250 hadoop]# echo $JAVA_HOME
/software/jdk1.8.0_65
[root@NAME250 hadoop]#
1
2
3
4

2.core-site.xml 核心配置
3.hdfs-site.xml
4.yarn-site.xml
5. mapred-site.xml cp mapred-site.xml.template mapred-site.xml
6. slaves 从节点计算机
7. masters主节点配置
配置core-site.xml（如图1-60所示）。

[root@master hadoop]# vi core-site.xml
1

        <property>
               <name>fs.defaultFS</name>
               <value>hdfs://master:9000</value>//master是主节点namenode主机名：9000端口号
        </property>
        <property>
               <name>io.file.buffer.size</name>
               <value>131072</value>
        </property>
        <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/usr/hadoop/tmp</value>
        </property>

1
2
3
4
5
6
7
8
9
10
11
12
13

备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

7）配置hdfs-site.xml（如图1-61所示）。

[root@master hadoop]# vi hdfs-site.xml
1

     <property>
               <name>dfs.namenode.name.dir</name>
               <value>file:/usr/hadoop/dfs/name</value>
        </property>
        <property>
               <name>dfs.namenode.data.dir</name>
               <value>file:/usr/hadoop/dfs/data</value>
        </property>
        <property>
               <name>dfs.replication</name>  //复本数量 
               <value>3</value> 
        </property>

1
2
3
4
5
6
7
8
9
10
11
12
13

修改Hadoop中HDFS的配置，配置的备份方式默认为3

8）配置yarn-site.xml（如图1-62所示）。

[root@master hadoop]# vi yarn-site.xml 
1

 <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>//
        </property>
        <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
        </property>
        <property>
               <name>yarn.resourcemanager.resource-tracker.address</name>
               <value>master:8031</value>
        </property>
        <property>
               <name>yarn.resourcemanager.admin.address</name>
               <value>master:8033</value>
        </property>
        <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:8088</value>
</property>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

9）配置mapred-site.xml（如图1-63所示）。

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml
1
2

        <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.address</name>
               <value>master:10020</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.webapp.address</name>
               <value>master:19888</value>
        </property>
1
2
3
4
5
6
7
8
9
10
11
12

10）配置masters文件（如图1-64所示）。

[root@master hadoop]# vi masters  #加入以下内容  主节点的IP地址
1

11）配置slaves文件（如图1-65所示）。

[root@master hadoop]# vi slaves  #删除localhost，加入以下内容  从节点的IP地址
1

至此 配置文件基本配置完毕。
12）新建目录。

[root@master hadoop]# mkdir /usr/hadoop/tmp
[root@master hadoop]# mkdir /usr/hadoop/dfs/name -p
[root@master hadoop]# mkdir /usr/hadoop/dfs/data -p
1
2
3

13）修改/usr/hadoop目录的权限。

[root@master hadoop]# chown -R hadoop:hadoop /usr/hadoop/
1

14）将master上的hadoop安装文件同步到slave1 slave2 slave3。

[root@master hadoop]#cd
[root@master ~]# scp -r /usr/hadoop/ root@slave1:/usr/
[root@master ~]# scp -r /usr/hadoop/ root@slave2:/usr/
[root@master ~]# scp -r /usr/hadoop/ root@slave3:/usr/
1
2
3
4

15）在每个slave节点上配置hadoop的环境变量（所有slave节点）。

[root@master ~]# vi /etc/profile  #文件末尾添加
1

# set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
1
2
3

16）使配置的hadoop的环境变量生效（所有slave节点）。

[root@master ~]# source /etc/profile
1

17）修改/usr/hadoop目录的权限（所有slave节点）。

[root@master ~]# chown -R hadoop:hadoop /usr/hadoop/
1

18）切换到hadoop用户（所有slave节点）。

[root@master ~]#su - hadoop
1

19）先格式化（master节点）。

[hadoop@master ~]$ hadoop namenode -format
1

20）启动hadoop（master节点）（如图1-66所示）。

[hadoop@master ~]$ start-all.sh
1

21）查看Java进程（如图1-67所示）。
master节点

[hadoop@master ~]$ jps
1

Slave1节点（如图1-68所示）。
[hadoop@slave1~]$ jps

Slave2节点（如图1-69所示）。
[hadoop@slave2~]$ jps

Slave3节点（如图1-70所示）。
[hadoop@slave3~]$ jps

5）使用浏览器浏览Master节点机http://192.168.150.81:50070,查看NameNode节点状态（如图1-71所示）。

6）浏览Datanode数据节点

注意：这俩操作是必须执行的，不然浏览器访问不了数据节点