当前位置:   article > 正文

Hadoop集群环境部署教程_集群部署教程

集群部署教程

本地Hadoop集群部署教程

配置时间同步(一定要做,亲身体验过时间不同步的伤)

  • 使用date命令查看系统当前时间,以保证所有节点的时间一致
  • 若不一致使用时间同步,试用以下方法进行时间同步
crontab -e  ##创建定时任务
  • 1

在这里插入图片描述
在这里插入图片描述

配置主机名

chmod a+w /etc/sysconfig/network    ##可有可无
vim /etc/sysconfig/network   ##分别在两台主机修改配置文件如下图
hostname master   	## 临时修改主机名为master
hostname slave 	 ## 临时修改主机名为slave
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

配置Hosts列表

vim /etc/hosts
  • 1

在hosts配置文件里添加如下

在这里插入图片描述

安装JDK

首先查看jdk版本

java --version


  • 1
  • 2
  • 3

安装前后对比

配置免密登录

  • 输入命令:ssh-keygen -t rsa,然后一直回车回车…
  • 输入ssh-copy-id whzy@slave将秘钥拷贝到另一台主机
  • ssh登录验证

配置Hadoop

hadoop集群每个节点的配置都需要一致,所以我们可以在一个节点配置为再发送到其他节点

0.解压Hadoop包

在~/目录下解压hadoop-2.7.3.tar.gz

tar -xvf hadoop-2.7.3.tara.gz
  • 1

1.配置环境变量hadoop-env.sh

  vim etc/hadoop/hadoop-env.sh
  
  export JAVA_HOME=/usr/java/jdk1.8.0_161	##搜索并修改此行
  • 1
  • 2
  • 3

2.配置环境变量yarn-env.sh

  vim /home/whzy/hadoop.2.7.3/etc/hadoop/yarn-env.sh
  export JAVA_HOME=/y/libexec/jdk1.8.0_161	##替换为下面
  export JAVA_HOME=/usr/java/jdk1.8.0_161
  • 1
  • 2
  • 3

3.配置核心组件core-site.xml

  vim core-site.xml
  
  <configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
  </property>
  <property>
  <name
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/530048
推荐阅读
相关标签
  

闽ICP备14008679号