hadoop集群搭建（详细过程）_真机搭配hadoop集群

创建虚拟机

这里可以使用真机，也可用虚拟机创建。这里以虚拟机为例说明。在VMware中创建3台虚拟机，这里操作系统是Centos7。
虚拟机创建在此省略。
这里需要对配置网络连接与ip地址等，在此不做详细介绍。
确保可以NAT上网

关闭防火墙

systemctl disable firewalld	重启关闭生效
systemctl status firewalld	检查状态
1
2

提示：可先创建一台，之后克隆2台。

修改机器名

当然也可不修改，但为了以后的方便，推荐修改。
以root角色登录，修改
首先查看机器名

hostname
1

修改机器名

hostnamectl set-hostname 修改的名字
1

3台机器分别改为master，slave1，slave2

修改后重启

reboot
1

添加域名映射

3台虚拟机都编辑 /etc/hosts 文件
在末尾添加

master的ip地址	master
slave1的ip地址	slave1
slave2的ip地址	slave2
真机的ip地址	真机名（看你心意）
1
2
3
4

在真机中添加映射
以管理员身份运行记事本

打开文件 路径：C:Window/system32/drivers/etc/hosts
在etc中若是没看见hosts，在下面选择所以文件：

使用xshell登录虚拟机

将准备好的hadoop，jdk使用传输工具上传到虚拟机上

在虚拟机创建一个文件夹soft，存放上面两个文件。

mkdir /opt/soft
1

将上述两个文件循环拷贝到所有从节点（如果有多个，方便）
machines文件中是子节点，内容如下

slave1
slave2

执行如下命令（拷贝jdk）：
for x in cat machines;do echo $x;scp jdk-8u101-linux-x64.rpm $x:/opt/soft;done

安装jdk（3台虚拟机都要安装）

检查java版本

java -version
1

显示如下内容：

删除openjdk

rpm -qa | grep java 查看
rpm -e --nodeps xxxxxx 删除
1
2

查看openjdk文件

依次删除上述4个openjdk

安装jdk，配置环境变量

提示：3台虚拟机都如此操作

tar -zxvf jdk-8u271-linux-x64.tar.gz
1

出现如下文件

由于文件带jdk版本号，在此为了方便为其添加一个软链接

ln -s jdk1.8.0_271 jdk
1

配置jdk环境变量：

vim /etc/profile
1

在最后添加

export JAVA_HOME=（jdk的路径）
export PATH=$PATH:$JAVA_HOME/bin
1
2

保存后，重新编译profile文件

source /etc/profile
1

此时，查看java

安装hadoop，配置环境变量

提示，3台虚拟机都配置安装
hadoop安装，与jdk一致

配置hadoop环境变量

修改/etc/proflie文件
末尾添加：

export HADOOP_HOME=(hadoop文件路径)
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

验证hadoop安装成功

配置hadoop文件信息、

3台虚拟机都配置

修改hadoop的java环境

进入hadoop文件：

进入etc/hadoop

修改hadoop-env.sh文件

这里有的会出现问题，若有问题，可将写jdk的详细路径。

配置hadoop的core文件

编辑core-site.xml文件。

<configuration>

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/Cloud1</value>   
 </property>
 
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:8020</value>
 </property>
 
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13

格式化主节点（只master节点）

注意！！！格式化只可一次！！！
多次格式化会有问题！！！
回到hadoop文件，进入bin

格式化主节点

hdfs namenode -format
1

启动hdfs

回到hadoop，进入sbin文件

hadoop-daemon.sh start namenode
1

查看进程，存在NameNode节点

最后

在浏览器登录http://master:50070

可以看到存在两个Datanode节点。