Hadoop集群安装

集群规划

192.168.190.160
192.168.190.161
192.168.190.162

1、安装常用工具：

yum install -y epel-release
yum install -y net-tools
yum install -y rsync
yum install -y vim

2、修改主机名：hostnamectl set-hostname hadoop162

设置vim /etc/hosts
192.168.190.160        hadoop160
192.168.190.161        hadoop161
192.168.190.162        hadoop162
systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #禁用防火墙

### 注意，本地Windows也要配置域名映射：否则浏览器无法浏览和下载文件
192.168.190.160  hadoop160
192.168.190.161  hadoop161
192.168.190.162  hadoop162

3、克隆linux修改主机名、IP
 

4、配置hadoop_home环境变量vi /etc/profile

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新环境变量：source /etc/profile

5.1、创建hadoop用户：

useradd hadoop
passwd hadoop
su hadoop 
5.2 ssh免密登录
ssh localhost    #生成本机的ssh目录
ssh-keygen -t rsa    #生成秘钥
#后面是想要免密登录的节点主机名
ssh-copy-id hadoop160
ssh-copy-id hadoop161
ssh-copy-id hadoop162
chown -R hadoop:hadoop /opt/hadoop
5.3 hadoop增加suso权限，root下编辑vim /etc/sudoers
在root下面的wheel增加：hadoop  ALL=(ALL)        NOPASSWD:ALL

6、编辑etc/hadoop/hadoop-env.sh

vim /opt/hadoop/hadoop-env.sh
#添加如下内容
export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=${HADOOP_HOME}/pid

依次编辑hadoop-env.sh、mapred-env.sh、yarn-env.sh这三个文件，确保它们的内容中都有JAVA_HOME的正确配置：
export JAVA_HOME=/usr/local/java

7、编辑etc/hadoop/core-site.xml添加如下内容

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop160:8020</value>
        <description>指定namenode地址</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
        <description>指定hadoop的数据存放目录.</description>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
        <description>指定网页登录使用的静态用户为hadoop否则无权限操作</description>
    </property>
</configuration>

8、编辑etc/hadoop/hdfs-site.xml

<configuration>
  <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop160:9870</value>
        <description>namenode web访问地址 </description>
    </property>
        <!-- SecondNameNode web端访问地址-->
  <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>hadoop162:9868</value>
  </property>
  <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
  </property>
  <property>
         <name>dfs.replication</name>
         <value>3</value>
  </property>
  
<!--  <property>
 　　<name>dfs.permissions.enabled</name>
 　　<value>false</value>
 　　<description>如果为"true"，则在HDFS中启用权限检查;如果为"false"，则关闭权限检查;默认值为"true"。</description>
 </property> -->
  
   <property>
        <description>没有Hive可以不加，用于解决hive链接不上的错误。
        默认返回给client端datanode的主机名称,这里如果不加的话，dn就会连接不上.</description>
        <name>dfs.client.use.datanode.hostname</name>
         <value>true</value>
   </property>
</configuration>

9、=====================编辑etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>让MR走shuffle</description>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop161</value>
    </property>
        <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
         <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop161:19888/jobhistory/logs/</value>
    </property>
     <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    
    <!-- master（JobManager）失败重启的最大尝试次数-->
    <property>
      <name>yarn.resourcemanager.am.max-attempts</name>
      <value>4</value>
      <description>The maximum number of application master execution attempts.</description>
    </property>
    <!-- 关闭yarn内存检查 -->
<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认为 true -->
<!-- 因为对于 flink 使用 yarn 模式下，很容易内存超标，这个时候 yarn 会自动杀掉 job，因此需要关掉-->
    <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
    </property>

    <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
    </property>
    
</configuration>

10、=====编辑etc/hadoop/mapred-site.xml

<configuration>
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
          <description>指定MapReduce jobs.运行在yarn上 Can be one of local,classic or yarn.</description>
  </property>
    <!-- 历史服务器端地址 -->
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop160:10020</value>
  </property>
    <!-- 历史服务器web端地址 -->
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hadoop160:19888</value>
  </property>
  <!-- hadoop安装路径 -->
  <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>
分发文件，-r代表覆盖，【注意】如果两个节点目录相同时,目标目录要比源目录少一层目录才会覆盖，否则不覆盖。
scp -r /opt/hadoop/etc hadoop161:/opt/hadoop
scp -r /opt/hadoop/etc hadoop162:/opt/hadoop

11、编辑etc/hadoop/workers

hadoop160
hadoop161
hadoop162

12、启动hadoop集群

hdfs namenode -format    #格式化namenode
【注意：格式化NameNode会产生新的集群id，导致DataNode中记录的的集群id和刚生成的NameNode的集群id不 一致，
DataNode找不到NameNode。所以，格式化NameNode时，一定要先删除每个节点的data目录和logs日志，
然后再格式化NameNode,一般只在搭建初期执行这一次。】

13、在node1执行（namenode节点）

/opt/hadoop/sbin/start-all.sh    # 启动集群,resourcemanager需要单独在对应服务器上启动
/opt/hadoop/sbin/stop-all.sh    # 停止集群
===单独启动命令：
/opt/hadoop/sbin/start-dfs.sh    # 启动hdfs
/opt/hadoop/sbin/start-yarn.sh    #启动yarn
# 停止
/opt/hadoop/sbin/stop-dfs.sh
/opt/hadoop/sbin/stop-yarn.sh
单个启动namenode的指令如下    sbin/hadoop-daemon.sh start namenode
单个启动Datanode的指令如下    sbin/hadoop-daemon.sh start datanode
启动yarn命令：yarn --daemon start resourcemanager / nodemanager
历史服务启停    mapred --daemon start historyserver 

=====如果resourceManager无法启动，可以查看logs目录下的报错信息，
netstat -tuln | grep <端口号>

14、在配置的162机器启动历史服务：

mapred --daemon start historyserver
15、*****每个节点使用jps命令验证进程是否正确*****
访问NN的webUI地址 http://192.168.190.160:9870
访问YARN的webUI 地址：http://192.168.190.161:8088
访问历史服务http://192.168.190.160:19888

至此搭建完成，可使用Hadoop自带的脚本测试wordcount
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount /hadoop/input /hadoop/output
在output目录查看计算结果