当前位置:   article > 正文

Hadoop集群安装

Hadoop集群安装

集群规划

192.168.190.160
192.168.190.161
192.168.190.162


1、安装常用工具:


yum install -y epel-release
yum install -y net-tools
yum install -y rsync
yum install -y vim

2、修改主机名:hostnamectl set-hostname hadoop162


设置vim /etc/hosts
192.168.190.160        hadoop160
192.168.190.161        hadoop161
192.168.190.162        hadoop162
systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #禁用防火墙

### 注意,本地Windows也要配置域名映射:否则浏览器无法浏览和下载文件
192.168.190.160  hadoop160
192.168.190.161  hadoop161
192.168.190.162  hadoop162

3、克隆linux修改主机名、IP
 

4、配置hadoop_home环境变量vi /etc/profile


export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新环境变量:source /etc/profile

5.1、创建hadoop用户:


useradd hadoop
passwd hadoop
su hadoop 
5.2 ssh免密登录
ssh localhost    #生成本机的ssh目录
ssh-keygen -t rsa    #生成秘钥
#后面是想要免密登录的节点主机名
ssh-copy-id hadoop160
ssh-copy-id hadoop161
ssh-copy-id hadoop162
chown -R hadoop:hadoop /opt/hadoop
5.3 hadoop增加suso权限,root下编辑vim /etc/sudoers
在root下面的wheel增加:hadoop  ALL=(ALL)        NOPASSWD:ALL

6、编辑etc/hadoop/hadoop-env.sh


vim /opt/hadoop/hadoop-env.sh
#添加如下内容
export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_PID_DIR=${HADOOP_HOME}/pid

依次编辑hadoop-env.sh、mapred-env.sh、yarn-env.sh这三个文件,确保它们的内容中都有JAVA_HOME的正确配置:
export JAVA_HOME=/usr/local/java

7、编辑etc/hadoop/core-site.xml添加如下内容


<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop160:8020</value>
        <description>指定namenode地址</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
        <description>指定hadoop的数据存放目录.</description>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
        <description>指定网页登录使用的静态用户为hadoop否则无权限操作</description>
    </property>
</configuration>

8、编辑etc/hadoop/hdfs-site.xml


<configuration>
  <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop160:9870</value>
        <description>namenode web访问地址 </description>
    </property>
        <!-- SecondNameNode web端访问地址-->
  <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>hadoop162:9868</value>
  </property>
  <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
  </property>
  <property>
         <name>dfs.replication</name>
         <value>3</value>
  </property>
  
<!--  <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
   <description>如果为"true",则在HDFS中启用权限检查;如果为"false",则关闭权限检查;默认值为"true"。</description>
 </property> -->
  
   <property>
        <description>没有Hive可以不加,用于解决hive链接不上的错误。
        默认返回给client端datanode的主机名称,这里如果不加的话,dn就会连接不上.</description>
        <name>dfs.client.use.datanode.hostname</name>
         <value>true</value>
   </property>
</configuration>

9、=====================编辑etc/hadoop/yarn-site.xml


<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>让MR走shuffle</description>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop161</value>
    </property>
        <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
         <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop161:19888/jobhistory/logs/</value>
    </property>
     <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    
    <!-- master(JobManager)失败重启的最大尝试次数-->
    <property>
      <name>yarn.resourcemanager.am.max-attempts</name>
      <value>4</value>
      <description>The maximum number of application master execution attempts.</description>
    </property>
    <!-- 关闭yarn内存检查 -->
<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认为 true -->
<!-- 因为对于 flink 使用 yarn 模式下,很容易内存超标,这个时候 yarn 会自动杀掉 job,因此需要关掉-->
    <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
    </property>

    <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
    </property>
    
</configuration>

10、=====编辑etc/hadoop/mapred-site.xml


<configuration>
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
          <description>指定MapReduce jobs.运行在yarn上 Can be one of local,classic or yarn.</description>
  </property>
    <!-- 历史服务器端地址 -->
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop160:10020</value>
  </property>
    <!-- 历史服务器web端地址 -->
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hadoop160:19888</value>
  </property>
  <!-- hadoop安装路径 -->
  <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>
分发文件,-r代表覆盖,【注意】如果两个节点目录相同时,目标目录要比源目录少一层目录才会覆盖,否则不覆盖。
scp -r /opt/hadoop/etc hadoop161:/opt/hadoop
scp -r /opt/hadoop/etc hadoop162:/opt/hadoop

11、编辑etc/hadoop/workers


hadoop160
hadoop161
hadoop162

12、启动hadoop集群


hdfs namenode -format    #格式化namenode
【注意:格式化NameNode会产生新的集群id,导致DataNode中记录的的集群id和刚生成的NameNode的集群id不 一致,
DataNode找不到NameNode。所以,格式化NameNode时,一定要先删除每个节点的data目录和logs日志,
然后再格式化NameNode,一般只在搭建初期执行这一次。】

13、在node1执行(namenode节点)


/opt/hadoop/sbin/start-all.sh    # 启动集群,resourcemanager需要单独在对应服务器上启动
/opt/hadoop/sbin/stop-all.sh    # 停止集群
===单独启动命令:
/opt/hadoop/sbin/start-dfs.sh    # 启动hdfs
/opt/hadoop/sbin/start-yarn.sh    #启动yarn
# 停止
/opt/hadoop/sbin/stop-dfs.sh
/opt/hadoop/sbin/stop-yarn.sh
单个启动namenode的指令如下    sbin/hadoop-daemon.sh start namenode
单个启动Datanode的指令如下    sbin/hadoop-daemon.sh start datanode
启动yarn命令:yarn --daemon start resourcemanager / nodemanager
历史服务启停    mapred --daemon start historyserver 

=====如果resourceManager无法启动,可以查看logs目录下的报错信息,
netstat -tuln | grep <端口号>


14、在配置的162机器启动历史服务:


mapred --daemon start historyserver
15、*****每个节点使用jps命令验证进程是否正确*****
访问NN的webUI地址 http://192.168.190.160:9870
访问YARN的webUI 地址:http://192.168.190.161:8088
访问历史服务http://192.168.190.160:19888

至此搭建完成,可使用Hadoop自带的脚本测试wordcount
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount /hadoop/input /hadoop/output
在output目录查看计算结果

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/679936
推荐阅读
相关标签
  

闽ICP备14008679号