赞
踩
二、安装Hadoop
1、下载hadoop
2、修改环境变量
三、安装hive
1、下载hive
2、修改环境变量
3、修改hivesite 配置
4、验证是否安装成功
四、错误记录
1、配置文件中存在异常字符
二、guava版本不一致
一、安装环境
======
JDK 1.8
二、安装Hadoop
==========
http://mirror.bit.edu.cn/apache/hadoop/ 选择合适的版本
下载hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
执行 进行解压,为了方便使用吗,mv进行修改名称
tar -xzvf hadoop-3.3.0.tar.gz
mv hadoop-3.3.0.tar.gz hadoop
将hadoop环境信息写入环境变量中
vim /etc/profile
export HADOOP_HOME=/opt/hadoop
export PATH= H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:PATH
执行source etc/profile使其生效
3、修改配置文件
修改hadoop-env.sh文件,vim etc/hadoop/hadoop-env.sh修改JAVA_HOME信息
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output ‘dfs[a-z]’,hadoop自带的例子,验证hadoop是否安装成功
三、安装hive
========
wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
解压tar -zxvf apache-hive-3.1.2-bin.tar.gz
修改名称 mv apache-hive-3.1.2-bin hive
vim /etc/profile
export HIVE_HOME=/opt/hive
export PATH= M A V E N H O M E / b i n : MAVEN_HOME/bin: MAVENHOME/bin:HIVE_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:PATH
source etc/profile
javax.jdo.option.ConnectionUserName用户名
root
javax.jdo.option.ConnectionPassword密码
123456
javax.jdo.option.ConnectionURLmysql
jdbc:mysql: //127.0.0.1:3306/hive
javax.jdo.option.ConnectionDriverNamemysql驱动程序
com.mysql.jdbc.Driver
hive.exec.script.wrapper
复制mysql的驱动程序到hive/lib下面,然后进入/hive/bin 目录执行
schematool -dbType mysql -initSchema
hive --version查看当前版本
hive 看是否进入hive命令操作行,进去的话说明成功
四、错误记录
======
根据指定的
Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common- 3.1 . 2 .jar!/hive-log4j2.properties Async: true
Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D
at org.apache.hadoop.fs.Path.initialize(Path.java: 263 )
at org.apache.hadoop.fs.Path.(Path.java: 221 )
at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java: 710 )
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java: 627 )
at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java: 591 )
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java: 747 )
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java: 683 )
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java: 62 )
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java: 43 )
at java.lang.reflect.Method.invoke(Method.java: 498 )
at org.apache.hadoop.util.RunJar.run(RunJar.java: 323 )
at org.apache.hadoop.util.RunJar.main(RunJar.java: 236 )
Caused by: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D
at java.net.URI.checkPath(URI.java: 1823 )
at java.net.URI.(URI.java: 745 )
at org.apache.hadoop.fs.Path.initialize(Path.java: 260 )
… 12 more
解决方式:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。**
[外链图片转存中…(img-pXhDP5Mx-1715691614828)]
[外链图片转存中…(img-4pU1x385-1715691614829)]
[外链图片转存中…(img-11UWcCk0-1715691614829)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。