伪分布式集群的环境搭建_伪分布式环境搭建

本作者只是在这里做一个学习记录，也希望大家在安装伪分布式的时候能够帮助到大家。

1.首先JAVA环境变量配置

将JavaJDK传到虚拟机的/home/hadoop/software/目录下面（这里用的是MobaXterm软件可以直接拖拉传文件，不要用WinSCP软件传Windows的文件到虚拟机上面）

2. 把压缩包传到虚拟机以后，用tar目录解压JDK1.8.zip压缩包，压缩后用MV命令将解压后的名字改为jdk1.8

3. 进入home/hadoop/software/hadoop-3.3.0/etc/hadoop/目录，配置Hadoop环境变量（如果不是我的这个路径存放的位置，那么需要进入自己创建路径的位置）

（1）配置core-site.xml文件内容

在文件里面添加以下内容并且需要在相应的文件路径下面创建一个目录（不是我的文件路径下，需要更改文件路径）

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadooptest:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/software/hadooptmp</value>
</property>
</configuration>

（2）配置hdfs-site.xml 的文件内容 ，在文档里面添加以下内容

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

（3）配置mapred-site.xml 内容，在该文件配置以下内容

<configuration>
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

（4）配置yarn-site.xml 文件内容，在对应文件下面配置以下内容：

<configuration>
 <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
 </configuration>

（5）配置Hadoop的环境变量，在nano ~/.bash_profile或者在nano /etc/profile

nano ~/.bash_profile

nano /etc/profile

（6）绑定主机名，用hostname先查看自己的主机名，然后nano workers绑定自己的主机名。

（7）格式化HDFS

配置这些过后的话，用下面的命令就可以成功运行伪分布式集群了

start-all.sh

4.除此之外，我在配置hadoop伪分布式的过程当中，遇到的一下问题：

1.运行Start-all.sh启动伪分布式集群

在编译的时候出现了下面的问题，然后百度后，原来是我的hdfs.site.xml出现了问题，于是重新配置了一遍配置文件。

2.解决了上面的问题过后，于是有出现了下面的问题，我还也为是我自己的其他文件出现了问题，于是我把报错出去百度一下，发现，这台虚拟机是我重新配置的，并没有配置免秘钥，导致我的权限不够，于是我重新配置了一次免秘钥。

3.于是重新运行start-all.sh文件，并且最后通过自己的jps命令，成功验证了自己的jps伪分布式集群

恭喜成功配置成功了我的伪分布式集群声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】