当前位置:   article > 正文

ubuntu18.04安装hadoop的教程及安装过程遇到的问题解答_ubuntu18.04伪分布式安装hadoop

ubuntu18.04伪分布式安装hadoop

内容:
(1)JAVA jdk8.0环境安装与配置;
(2)SSH环境安装与配置;
(3)Hadoop伪分布式模式安装与配置。

1、增加一个名为 hadoop 的用户,设置密码,为 hadoop 用户增加管理员权限:
在这里插入图片描述
2、用 hadoop 用户登录后,先更新apt:
在这里插入图片描述
3、 安装vim:
在这里插入图片描述
4、安装 SSH server:
在这里插入图片描述
5、登陆本机:
在这里插入图片描述
6、安装JDK:
在这里插入图片描述
7、打开当前登录用户的环境变量配置文件.bashrc,让环境变量立即生效,检验,执行的两个命令一样,成功:
在这里插入图片描述
8、安装hadoop2至 /usr/local/,解压,检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
在这里插入图片描述
9、运行 grep 例子,将 input 文件夹中的所有文件作为输入,筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数,最后输出结果到 output 文件夹中:
在这里插入图片描述
执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词 dfsadmin 出现了1次:
在这里插入图片描述
10、配置完成后,执行 NameNode 的格式化:
在这里插入图片描述
在这里插入图片描述
看到 “successfully formatted”:
在这里插入图片描述
11、接着开启 NameNode 和 DataNode 守护进程,启动完成后,通过命令 jps 来判断已经成功启动:
在这里插入图片描述
12、访问 Web 界面 http://localhost:9870, 查看NameNode 和 Datanode 信息:
在这里插入图片描述
四、实验中遇到的问题和解决办法,实验总结
问题和解决办法:
1)更新apt时出现文件尺寸不符,看见它说使用的镜像正在同步中,于是我把电脑关机重启之后就可以成功更新apt了。
在这里插入图片描述
2)我安装vim时出现无法获得锁…11:资源暂时不可用,和无法获取dpkg前端锁,有进程正在占用它,于是我百度了一下,然后用以下命令并且kill了我的810和837端口就可以了。
在这里插入图片描述
3)我编辑core-site.xml文件时出现无法连接和拒绝连接的情况,这是一个低级错误,原因是因为我可能比较细心,编辑了core-site.xml文件也保存了之后没有关闭出现的错,之后明白了。
在这里插入图片描述
4)我的localhost:50070端口打不开,由于提前安装了hadoop,无意识就安装了最新版本,查资料知道它的端口号变成了localhost:9870,然后打开了。
在这里插入图片描述
加油!
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/844361
推荐阅读
相关标签
  

闽ICP备14008679号