赞
踩
全栈工程师开发手册 (作者:栾鹏)
架构系列文章
Hive默认使用MapReduce作为执行引擎,即Hive on mr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。
由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多。因此,Hive on Spark也会比Hive on mr快。
http://archive.apache.org/dist/hive/
这里使用的是hadoop2.7.5,所以选择对应的版本hive2.1
下载apache-hive-2.1.1-bin.tar.gz后,解压到不包含空格和中文的目录,这里解压到G:\apache-hive-2.1.1-bin
设置环境变量
HIVE_HOME为G:\apache-hive-2.1.1-bin
Path添加%HIVE_HOME%\bin
如果使用hive连接mysql,需要下载
mysql-connector-java-5.1.45
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.zip
将解压出来的jar放入hive 的lib中
将G:\apache-hive-2.1.1-bin\conf\hive-default.xml.template复制目录下改名为hive-site.xml
然后找到
<name>javax.jdo.option.ConnectionURL</name>
修改其value
<value>jdbc:mysql://139.196.xxx.xxx:3306/hive?characterEncoding=UTF8&useSSL=false&createDatabaseIfNotExist=true</value>
同时,注意修改对应数据库的账号密码,否则会在执行hive时出错
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
运行hive客户端
cmd中cd 到G:\apache-hive-2.1.1-bin\bin
输入hive命令运行客户端
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。