在centos7上搭建hadoop集群_centos 7 + hadoop

准备工作

1.下载hadoop
本文用的是hadoop-2.7.3的版本
下载hadoop的链接：http://hadoop.apache.org/releases.html#25+August%2C+2016%3A+Release+2.7.3+available

2.下载jdk
本文用的是jdk1.8
jdk下载链接：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

3.安装3个虚拟机并实现ssh免密码登录
- 1.安装虚拟机
这里用的linux系统是CentOS7，安装方法请看上篇博客（centos7 Linux环境的搭建）；安装3台机器，机器名分别是hadoop-master、hadoop-slave1、hadoop-slaver2
1.1）机器在安装的时候，可以创建1个hadoop用户，之后通过hostname进行修改；
1.2）也可以使用克隆的方式复制多个独立的虚拟机,每个虚拟机创建一个Hadoop用户并加入到root组中useradd -m hadoop -G root -s /bin/bash 利用 passwd hadoop 配置密码遇到提示说密码简单就再输入一次

- 2.配置ip和主机名

用root用户登录hadoop-master主机上配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33
1

注意如果你是克隆的虚拟机那么每个虚拟机的网卡UUID是一样的，这个不行，所有要删除这个，让它自动在生成一个
重启网路服务：systemctl restart network
我的实验是把上面图中的ip地址改为192.168.196.162 默认网关设置为192.168.150.2 为什么这么做，根据什么要看看你的虚拟机网络编辑器 这个在虚拟机菜单 编辑 中 我的设置如图：

如果你在上图中设置取消了DHCP那么你想让你的电脑访问虚拟机就设置你的电脑中

配置静态IP

修改主机名：vi /etc/hostname删除原有的，修改成hadoop-master 保存退出
- 3. 修改/etc/hosts文件
修改hosts：vi 、etc/hosts配置如图所示：

保存退出，重启虚拟机。在每个虚拟机里重复修改网卡（ifcfg-enss*）,hostname,hosts 的步骤，重启后测试互通性
要求在hadoop-master中能ping通slave1,slave2。其它任何一个虚拟机中都能ping通另外两个才行

- 4.给hadoop-master生成秘钥文件并且在hadoop-master上创建authorized_keys文件
检查每个虚拟机上是否安装了ssh 和 启动了sshd服务

rpm -qa | grep ssh
1

如图所示：（出现ssh server和client证明已经安装）

如果没有安装请执行下面的代码：(遇到输入y/N输入y)

yum -y install openssl openssh
1