当前位置:   article > 正文

2024年java程序员的AI之路-大数据篇 hadoop安装,大数据开发开发还会吃香吗_java ai学习路线

java ai学习路线

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

export PATH JAVA_HOME CLASSPATH

3、验证环境变量,输入java -version ,如果出现以下内容说明安装成功

四、设置ssh免密登录


集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。

利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

1. cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost

2. ssh-keygen -t rsa              # 会有提示,都按回车就可以

3. cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

Shell 命令

~的含义

在 Linux 系统中,~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”。 此外,命令中的 # 后面的文字是注释。

此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了。

五、安装hadoop


其实hadoop的安装还是很简单的,但是中间会出现一些异常的坑。。。

1、首先将安装包放在/usr/etc/下面,解压

2、配置hadoop配置文件

1)配置hadoop-env.sh

该"hadoop-env.sh"文件位于"hadoop/etc/hadoop/"目录下。在文件里添加JAVA_HOME   java环境变量。

2)配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号。

3)配置hdfs-site.xml文件

修改Hadoop中HDFS的配置,配置的备份方式默认为3。

4、最后修改环境变量

执行 vim ~/.bashrc

在文件里新增以下内容。Java环境变量,以及hadoop的安装路径。

这里我在/etc/profile里面也配置过,按理说应该和在~/.bashrc配置效果一样,但是在/etc/profile配置就会出现hadoop读取不到配置的异常。这个待研究。

export JAVA_HOME=/usr/etc/jdk1.8.0_151

export HADOOP_INSTALL=/usr/etc/hadoop

export PATH= P A T H : PATH: PATH:HADOOP_INSTALL/bin

export PATH= P A T H : PATH: PATH:HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS=“-Djava.library.path=$HADOOP_INSTALL/lib”

然后在执行source ~/.bashrc

使配置生效。

六、启动hadoop


进入hadoop的安装路径 /usr/etc/hadoop/bin 执行hdfs namenode -format

进行格式化,出现以下信息说明格式化成功。

进入/usr/etc/hadoop/sbin 执行start-dfs.sh,成功执行

检验是否执行成功输入jps,执行成功如下图

之后打开浏览器,输入虚机ip+端口50070便进入管理页面

至此hadoop已经安装完毕,但安装过程中肯定会遇到一些不可描述的错误。我大概总结了一些,欢迎各位道友再来补充,或者大家安装过程中出现其他问题还请给我留言,我会尽量解答。

1、启动hadoop出现类找不到的情况。

多半是java_home设置有问题。查看hadoop-env.sh配置文件查看java_home配置是否正确,如正确查看全局变量是否按照该文档进行设置。配置之后记得使用source使其立即生效。

2、启动hadoop出现节点找不到的情况。

可能是hadoop读取路径有问题或者core-site.xml配置文件配置有误。

路径问题的话修改hadoop-env.sh文件里的 HADOOP_CONF_DIR,修改为你的hadoop的安装目录。

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

414)]

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/791639
推荐阅读
相关标签
  

闽ICP备14008679号