Hadoop-3.3.6伪分布式集群搭建_伪集群hdfs

一、软件版本

•   jdk：1.8.0_211
•   hadoop：3.3.6
•   操作系统：centos7

二、配置jdk环境变量

1.解压jdk 

可以利用Xshell7和Xftp7解压jdk到/usr/local/src目录下，在Xshell7中打开Xftp7

在Xftp7中打开所要压缩的安装包

双击即传输到右侧框架中，前提是Xshell已经连接上centos7主机

在Xshell解压jdk

[root@ljl ~]# tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/src

ls查看/usr/local/src目录下内容

2、修改/etc/profile文件

打开终端，执行命令 vim /etc/profile,按Insert键在文件末尾插入以下内容：

export JAVA_HOME=/usr/local/src/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin

#按esc键+Shift+：输入wq保存退出

退出编辑后终端输入 source /etc/profile     #刷新环境变量

java -version #测试环境变量是否配置成功

三、配置Hadoop环境变量

1、解压hadoop-3.3.6

同jdk操作步骤

tar -zxvf hadoop-3.3.6.tar.gz -C /usr/local/src

ls 查看/usr/local/src

2、修改/etc/profile文件

打开终端，执行命令 vim /etc/profile,按Insert键在文件末尾插入以下内容：

export HADOOP_HOME=/usr/local/src/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效环境变量：

source  /etc/profile

hadoop version

出现以下内容说明配置成功

3、关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld

systemctl disable firewalld

4、配置免密登录

执行ssh-keygen -t rsa，一直空格，出现以下内容 

5、公钥复制到节点

ssh-copy-id ljl

6、测试免密登录是否配置成功

ssh ljl

四、配置伪分布式集群

1、进入hadoop所在配置文件目录，在此目录打开终端

 cd /usr/local/src/hadoop-3.3.6/etc/hadoop

2、配置hadoop-env.sh文件

执行命令 vim hadoop-env.sh,在文件这种添加以下代码：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export JAVA_HOME=/usr/local/src/jdk1.8.0_211 #改成自己的路径
HADOOP_SHELL_EXECNAME=root

3、修改core-site.xml

执行命令：vim core-site.xml,在文件中添加如图所示代码：

<property>
			
   <name>fs.defaultFS</name>
   <value>hdfs://192.168.10.100:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/usr/local/src/hadoop-3.3.6/tmp</value>
</property>

4、修改hdfs-site.xml

执行命令 ：vim hdfs-stie.xml，添加如下代码：

<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/src/hadoop-3.3.6/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop-3.3.6/hdfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

5、修改mapred-site.xml

执行命令 ：vim mapred-stie.xml， 添加如下代码

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ljl</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

6、修改workers文件

 执行命令 ：    vim workers，  添加如下代码

ljl #主机名称

7、第一次使用需要格式化集群

执行命令：  hdfs namenode -format，出现如图所框选的信息表明成功

8、启动集群

start-all.sh或者分别启动hdfs和yarn,即：start-dfs.sh , start-yarn.sh

9、执行jps命令进行验证是否启动成功，出现以下6个进程表示启动成功

10、webui访问

输入 192.168.10.100：9870#端口