2-2.Hadoop大数据集群搭建之---伪分布式模式_hadoop伪分布式环境搭建步骤

本文介绍Hadoop的第二种运行模式—伪分布式模式。

1. 安装Hadoop

（1）下载Hadoop安装包

第一种方法是从Hadoop的官网去下载，可能网速比较慢。
第二种方法从国内的镜像源进行下载。我一般从清华大学镜像源去下载。（Hadoop清华大学镜像源内下载地址）

选择3.3.5版本进行下载。

（2）上传Hadoop安装包并解压

  下载后通过mobaXterm上传至bigdata01节点上的/opt/software路径下。然后通过下面命令进行解压到/opt/module路径下，并进行重命名为hadoop_pd。

（3）将hadoop添加到环境变量（bigdata_env.sh）

sudo vim /etc/profile.d/bigdata_env.sh
1

在bigdata_env.sh中添加下面的内容。

#HADOOP
export HADOOP_HOME_PD=/opt/module/hadoop_pd
export PATH=$PATH:$HADOOP_HOME_PD/bin
1
2
3

然后使环境变量生效。

source /etc/profile
1

（4）测试是否安装成功

hadoop version
1

2.伪分布式模式部署

主要是对hadoop的几个配置文件进行修改。

（1）core-site.xml文件

[bduser@bigdata01 module]$ cd /opt/module/hadoop_pd/etc/hadoop/
1

在core-site.xml中添加如下内容：

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>/opt/module/hadoop_pd/tmp</value>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9082</value>
        </property>
        <property>
 			<name>hadoop.http.staticuser.user</name>
			<value>atguigu</value>
 		</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

（2）配置hadoop-env.sh

在hadoop-env.sh文件中添加jdk的路径。

export JAVA_HOME=/opt/module/jdk1.8
1

（3）配置hdfs-site.xml

在hdfs-site.xml中添加如下内容：

<configuration>
     <property>
          <name>dfs.replication</name>
          <value>1</value>
     </property>
     <property>
          <name>dfs.namenode.name.dir</name>
          <value>/opt/module/hadoop_pd/tmp/dfs/name</value>
     </property>
     <property>
          <name>dfs.datanode.data.dir</name>
          <value>/opt/module/hadoop_pd/tmp/dfs/data</value>
      </property>
      <property>
          <name>dfs.http.address</name>
          <value>127.0.0.1:9870</value>
      </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

（5）格式化namenode，启动namenode和datanode

格式化namenode，如果出现末尾出现success表示成功。

[bduser@bigdata01 hadoop_pd]$ bin/hdfs namenode -format
1

启动namenode和datanode。

[bduser@bigdata01 hadoop_pd]$ cd sbin/
[bduser@bigdata01 sbin]$ ./start-dfs.sh
1
2

但是会报错，如下图：

解决方法：

原因是因为免密的问题。
执行下列命令生成公钥，然后传给bigdata01自己就行。

ssh-keygen -t rsa
#按三次回车即可获得公钥
ssh-copy-id bigdata01
1
2
3

再重新启动hadoop，即可成功。

（6）测试是否成功搭建

浏览器访问192.168.92.101:9870

以上即为hadoop的伪分布模式。