- 1理解线性代数，矩阵运算，行列式_线性空间的基的行列式
- 2配置flutter 遇到的问题及解决办法_x dart plugin not installed; this adds dart specif
- 3ltp(linux test project)的安装和使用
- 4命令注入漏洞笔记
- 5【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计_实时数仓建设方案
- 6工业机器人——6 机械臂的轨迹规划1（台大机器人学学习笔记）
- 7深度解读 BigANN 2023 四大赛题，向量搜索还有更好的解决方案？
- 8PowerShell 设置以管理员权限运行_windows powershell 权限模式
- 9细粒度特征提取和定位用于目标检测（附论文下载）
- 10PDF之itextsharp的使用开发历程2_itextsharp api文档
Window 安装Hive_hivewindows
赞
踩
基本环境资源
Hadoop:2.7.X
Hive:2.1.X.bin.tar.gz 版本
Hive:1.x.src.tar.gz 源码版本
第一步：windows 安装Hadoop2.7.x,请参考：
第二步：下载Hive.tar.gz,官网下载地址：http://archive.apache.org/dist/hive
第二步：解压Hive.tar.gz 至指定文件夹目录（C:\hive），配置Hive 全局环境变量。
Hive 全局环境变量：
第三步：Hive 配置文件（C:\hive\apache-hive-2.1.1-bin\conf）
配置文件目录C:\hive\apache-hive-2.1.1-bin\conf\conf有4个默认的配置文件模板拷贝成新的文件名
hive-default.xml.template -----> hive-site.xml
hive-env.sh.template -----> hive-env.sh
hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
hive-log4j.properties.template -----> hive-log4j2.properties
第四步： 新建本地目录后面配置文件用到
C:\hive\apache-hive-2.1.1-bin\my_hive
第五步：Hive需要调整的配置文件（hive-site.xml 和hive-env.sh）
编辑C:\hive\apache-hive-2.1.1-bin\conf\conf\hive-site.xml 文件
-
<!--hive的临时数据目录，指定的位置在hdfs上的目录-->
-
<property>
-
<name>hive.metastore.warehouse.dir
</name>
-
<value>/user/hive/warehouse
</value>
-
<description>location of default database for the warehouse
</description>
-
</property>
-
-
-
-
<!--hive的临时数据目录，指定的位置在hdfs上的目录-->
-
<property>
-
<name>hive.exec.scratchdir
</name>
-
<value>/tmp/hive
</value>
-
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/
<username
> is created, with ${hive.scratch.dir.permission}.
</description>
-
</property>
-
-
-
-
<!-- scratchdir 本地目录 -->
-
<property>
-
<name>hive.exec.local.scratchdir
</name>
-
<value>C:/hive/apache-hive-2.1.1-bin/my_hive/scratch_dir
</value>
-
<description>Local scratch space for Hive jobs
</description>
-
</property>
-
-
<!-- resources_dir 本地目录 -->
-
<property>
-
<name>hive.downloaded.resources.dir
</name>
-
<value>C:/hive/apache-hive-2.1.1-bin/my_hive/resources_dir/${hive.session.id}_resources
</value>
-
<description>Temporary local directory for added resources in the remote file system.
</description>
-
</property>
-
-
<!-- querylog 本地目录 -->
-
<property>
-
<name>hive.querylog.location
</name>
-
<value>C:/hive/apache-hive-2.1.1-bin/my_hive/querylog_dir
</value>
-
<description>Location of Hive run time structured log file
</description>
-
</property>
-
-
<!-- operation_logs 本地目录 -->
-
<property>
-
<name>hive.server2.logging.operation.log.location
</name>
-
<value>C:/hive/apache-hive-2.1.1-bin/my_hive/operation_logs_dir
</value>
-
<description>Top level directory where operation logs are stored if logging functionality is enabled
</description>
-
</property>
-
-
<!-- 数据库连接地址配置 -->
-
<property>
-
<name>javax.jdo.option.ConnectionURL
</name>
-
<value>jdbc:mysql://192.168.60.178:3306/hive?serverTimezone=UTC
&useSSL=false
&allowPublicKeyRetrieval=true
</value>
-
<description>
-
JDBC connect string for a JDBC metastore.
-
</description>
-
</property>
-
-
<!-- 数据库驱动配置 -->
-
<property>
-
<name>javax.jdo.option.ConnectionDriverName
</name>
-
<value>com.mysql.cj.jdbc.Driver
</value>
-
<description>Driver class name for a JDBC metastore
</description>
-
</property>
-
-
<!-- 数据库用户名 -->
-
<property>
-
<name>javax.jdo.option.ConnectionUserName
</name>
-
<value>admini
</value>
-
<description>Username to use against metastore database
</description>
-
</property>
-
-
<!-- 数据库访问密码 -->
-
<property>
-
<name>javax.jdo.option.ConnectionPassword
</name>
-
<value>123456
</value>
-
<description>password to use against metastore database
</description>
-
</property>
-
-
<!-- 解决 Caused by: MetaException(message:Version information not found in metastore. ) -->
-
<property>
-
<name>hive.metastore.schema.verification
</name>
-
<value>false
</value>
-
<description>
-
Enforce metastore schema version consistency.
-
True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
-
schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
-
proper metastore schema migration. (Default)
-
False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
-
</description>
-
</property>
-
-
<!-- 自动创建全部 -->
-
<!-- hive Required table missing : "DBS" in Catalog""Schema" 错误 -->
-
<property>
-
<name>datanucleus.schema.autoCreateAll
</name>
-
<value>true
</value>
-
<description>Auto creates necessary schema on a startup if one doesn't exist. Set this to false, after creating it once.To enable auto create also set hive.metastore.schema.verification=false. Auto creation is not recommended for production use cases, run schematool command instead.
</description>
-
</property>
- 1
编辑（C:\hive\apache-hive-2.1.1-bin\conf\conf\hive-env.sh 文件）
-
# Set HADOOP_HOME to point to a specific hadoop install directory
-
export HADOOP_HOME=
C:\hadoop\hadoop-
2.7.
6
-
-
# Hive Configuration Directory can be controlled by:
-
export HIVE_CONF_DIR=
C:\hive\apache-hive-
2.1.
1-bin\conf
-
-
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
-
export HIVE_AUX_JARS_PATH=
C:\hive\apache-hive-
2.1.
1-bin\
lib
- 1
第六步：在hadoop上创建hdfs目录
-
hadoop
fs -mkdir /tmp
-
hadoop
fs -mkdir /user/
-
hadoop
fs -mkdir /user/hive/
-
hadoop
fs -mkdir /user/hive/warehouse
-
hadoop
fs -chmod g+w /tmp
-
hadoop
fs -chmod g+w /user/hive/warehouse
- 1
第七步：创建Hive 初始化依赖的数据库hive,注意编码格式：latin1
第八步：启动Hive 服务
（1）、首先启动Hadoop，执行指令：stall-all.cmd
（2）、Hive 初始化数据，执行指令：hive --service metastore
如果一切正常，cmd 窗口指令显示如下截图
如果Hive 初始化正常，MySQL中Hive 数据库涉及表，如下截图：
（3）、启动Hive服务，执行指令：hive
至此，windows 10 搭建Hive 服务结束。
遇到的问题（1）：Hive 执行数据初始化（hive --service metastore），总是报错。
解决思路：通过Hive 自身携带的脚本，完成Hive 数据库的初始化。
Hive 携带脚本的文件位置（C:\hive\apache-hive-2.1.1-bin\scripts\metastore\upgrade），选择执行SQL的版本，如下截图：
选择需要执行的Hive版本（Hive_x.x.x）所对应的sql 版本（hive-schema-x.x.x.mysql.sql）
说明：我选择Hive版本时2.1.1,所以我选项的对应sql 版本hive-schema-2..1.0.mysql.sql 脚本。
遇到的问题（2）：Hive 的Hive_x.x.x_bin.tar.gz 版本在windows 环境中缺少 Hive的执行文件和运行程序。
解决版本：下载低版本Hive(apache-hive-1.0.0-src),将bin 目录替换目标对象（C:\hive\apache-hive-2.1.1-bin）原有的bin目录。
截图如下：apache-hive-1.0.0-src\bin 目录 结构
