当前位置:   article > 正文

毕设Hadoop集群环境搭建_服务器集群毕设

服务器集群毕设

3.1 Hadoop集群搭建

  1. 在三台主机上分别修改主机名和IP 。

在这里插入图片描述

  1. 配置免密码登录,node01、node02、node03节点可互相无密码登录。

在这里插入图片描述

  1. 每个节点都下载JDK,并配置环境变量
    在这里插入图片描述

  2. 上传Hadoop并配置Hadoop

a) 修改hadoop环境变量

在这里插入图片描述
b) 修改hadoop-env.sh配置文件
在这里插入图片描述

c) 修改hdfs-site.xml配置文件

在这里插入图片描述

d) 修改mapred-site.xml配置文件
在这里插入图片描述

e) 配置slaves
在这里插入图片描述

f) 让hadoop配置生效:source hadoop-env.sh

3.2 YARN集群搭建
1) 配置yarn-env.sh
在这里插入图片描述

  1. 配置yarn-site.xml
    在这里插入图片描述

  2. 配置mapred-env.sh
    在这里插入图片描述

3.3 Spark集群搭建

  1. 下载Spark并部署到服务器解压
    在这里插入图片描述

  2. 配置conf/spark-env.sh
    在这里插入图片描述

  3. 配置slave
    在这里插入图片描述

至此,所有集群环境搭建完成!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/羊村懒王/article/detail/655326
推荐阅读
相关标签
  

闽ICP备14008679号