hadoop集群的安装过程（简介）_在一台机器上安装java和hadoop,并配置环境变量,并分发到集群其他机器

1简述hadoop集群的安装过程

• 1.安装好linux
• 2.安装VMTools
  以上是准备工作
• 3.关闭防火墙(切记)

 临时关闭防火墙
service  iptables  status :查看防火墙状态
service   iptables  stop :临时关闭防火墙                                                              
开机启动是关闭防火墙
chkconfig  iptables  --list :查看防火墙开机启动状态
chkconfig  iptablea  off : 设置开机时关闭防火墙 
1
2
3
4
5
6

• 4. 设置静态IP

进入文件下

  vim /etc/sysconfig/network-scripts/ifcfg-eth0
1

配置以下信息

DEVICE=eth0                #接口名（设备,网卡）
HWADDR=00:0C:2x:6x:0x:xx   #MAC地址 
TYPE=Ethernet               #网络类型（通常是Ethemet）
UUID=926a57ba-92c6-4231-bacb-f27e5e6a9f44  #随机id
#系统启动的时候网络接口是否有效（yes/no）
ONBOOT=yes                
# IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
BOOTPROTO=static      
#IP地址
IPADDR=192.168.1.100   
#网关  
GATEWAY=192.168.1.2      
#域名解析器
DNS1=114.114.114.114
DNS2=8.8.8.8
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

• 5.改主机名

(a) 进入文件  vi /etc/sysconfig/network
(b)修改文件中的此内容  HOSTNAME= hadoop100
(c)打开/etc/hosts
 vim  /etc/hosts

     添加如下内容
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
(d) 并重启设备，重启后，查看主机名，已经修改成功  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

• 6.创建一个一般用户jinghang，给他配置密码

`useradd 用户名 : 添加新用户`
passwd  用户名 : 设置密码
su 用户名称 : 切换用户
chmod  [权限]  文件名 : 改变权限  
权限: r-4读  w-2写  x-1执行 
1
2
3
4
5

如：useradd jinghang
passwd jinghang
1
2

• 7.配置这个用户为sudoers

 vim /etc/sudoers
    在root    ALL=(ALL)       ALL
    添加jinghang    ALL=(ALL)       NOPASSWD:ALL
  保存时wq!强制保存
1
2
3
4

• 8.在/opt目录下创建两个文件夹module和software，并把所有权赋给jinghang

mkdir /opt/module /opt/software
chown jinghang:jinghang /opt/module /opt/software

• 9.关机，快照，克隆

从这里开始要以一般用户登陆

• 10.克隆的虚拟机改IP、网卡、主机名

• 11.搞一个分发脚本

cd ~
mkdir bin
cd bin
vim xsync
1
2
3
4

内容如下：
1

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环host=跟起始的节点， host<跟截止的节点
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

done

chmod +x xsync

sudo cp xsync /bin

sudo xsync /bin/xsync
1
2
3
4
5

• 12.配置免密登陆

    1. 生成密钥对
    ssh-keygen -t rsa 三次回车
    
    2. 发送公钥到本机
    ssh-copy-id hadoop102 输入一次密码
    
    3. 分别ssh登陆一下所有虚拟机
    ssh hadoop103
    exit
    ssh hadoop104
    exit
    
    4. 把/home/jinghang/.ssh 文件夹发送到集群所有服务器
    xsync /home/jinghang/.ssh
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14

  一下是新版本的可以这样 一路回车就好

 ssh-keygen -t rsa -P "-f" /.ssh/id_rsa577 
 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa578 
  cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
1
2
3

• 13.在一台机器上安装Java和Hadoop，并配置环境变量，并分发到集群其他机器

 1. 拷贝文件到/opt/software，两个tar包
    2. tar -zxvf h"+tab" -C /opt/module
    3. tar -zxvf j"+tab" -C /opt/module
    4. sudo vim /etc/profile
1
2
3
4

    在文件末尾添加
1

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2
3
4
5
6
7

所有配置文件都在$HADOOP_HOME/etc/hadoop
14. 首先配置hadoop-env.sh,yarn-env.sh,mapred-env.sh文件,配置Java_HOME
在每个文件第二行添加 export JAVA_HOME=/opt/module/jdk1.8.0_144

• 15.配置Core-site.xml

    <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
    </property>
  
    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11

• 16.配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
</property>
1
2
3
4
5
6
7
8
9

• 17.配置yarn-site.xml

    <!-- Site specific YARN configuration properties -->
    <!-- Reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
  
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <!-- 日志聚集功能使能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
  
    <!-- 日志保留时间设置7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19
  20
  21
  22
  23

• 18.配置mapred-site.xml

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop104:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop104:19888</value>
</property>

启动历史服务器：mr-jobhistory-daemon.sh start historyserver
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

• 19.配置Slaves
  hadoop102
  hadoop103
  hadoop104

• 20.分发配置文件
  xsync /opt/module/hadoop-2.7.2/etc

• 21.格式化Namenode 在hadoop102
  hdfs namenode -format

• 22.启动hdfs
  start-dfs.sh

• 23.在配置了Resourcemanager机器上执行
  在Hadoop103上启动start-yarn.sh