Hadoop伪分布安装

作者：IT小白 | 2024-06-13 09:15:12

踩

Hadoop伪分布安装

1.虚拟机设置

2.利用xshell7和xftp7解压jdk和hadoop并配置环境变量

安装包统一解压到/usr/local/src目录下

3.修改hdfs-site.xml等

进入hadoop所在配置文件目录，/usr/local/src/Hadoop-3.3.6/etc/Hadoop,在此目录打开终端

执行命令 vim hadoop-env.sh

vim core-stie.xm

vim hdfs-stie.xml

vim mapred-stie.xml

vim yarn-stie.xml

vim workers

格式化集群hdfs namenode -format

若出现类似namenode is running as process 4070Stop it first and ensure /tmp/hadoop- root- namenode.pid file is empty before retry. ，要结束进程（stop- all.sh）再重新进行格式化。

4.成功启动集群截图（包括进程，web）

启动集群start-all.sh

执行jps命令进行验证是否启动成功

进行web访问，打开浏览器，输入网址 192.168.10.100 主机:9870，访问成功。

5.实验心得

在选择cpu的个数时，根据自己的物理机CPU个数决定，设置虚拟机处理器的数量时，处理器数量与每个处理器的内核数量乘积小于我的物理机CPU个数。电脑配置完毕后，安装系统时出现问题，原因是没有导入ISO映像文件，导入后根据引导界面安装系统。后来，在配置SSSH免密登录时开始报错，ssh: connect to host master port 22: Connection refused，后来csdn后最后解决，在配置伪分布式集群中格式化集群时，开始报错，进行jdk路径和hadoop路径修改后解决，启动集群执行jps命令进行验证时，只出现了四个进程，后将hadoop所在配置文件目录中的文件修改后成功启动所有进程，最后web访问，打开浏览器，输入192.168.10.100:9870，访问成功。其中遇到的困难有很多，也经过了很长时间，尝试很多方法才得以解决，最终成功启动集群。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/711732