Hive简介&环境搭建_cdp集群如何开通tez ui

官网地址：https://hive.apache.org/
源码地址：https://github.com/apache/hive
Apache社区统一下载地址：https://archive.apache.org/dist/

1、Hive简介

Hive是使用SQL方法进行大数据量的统计分析【适合离线场景/批处理场景】

• Hive是构建在Hadoop之上的数据仓库。Hive的数据存储在HDFS之上，Hive写的sql，然后，默认是以MR作业的方式运行在YARN之上。
• 现在的Hive支持：MR、Tez、Spark三种执行引擎。【CDP默认的Hive就是支持Tez引擎】
• set hive.execution.engin = mr / Tez / Spark ； 【通过这样的设置，可以切换每种引擎】

执行流程：SQL => Hive => 翻译成MR作业 => 提交到YARN上去执行

区别：

1）Hive on Spark：SQL基于HIVE，翻译成SPARK作业 【在Hive框架中】
2） Spark SQL：直接在Spark框架中写的sql作业 【在Spark框架中】

2、Hive架构解析

• 客户端：Command-line shell【客户端命令行】、JDBC、webUI
  • Thrift：一种协议。JDBC客户端想要接入Hive的时候，其实是接入HiveServer2服务，而该服务底层就是使用Thrift协议。【Spark中使用的就是ThriftServer，底层也是Thrift协议。】
• Metastore（元数据）：描述数据的数据【Hive中最核心的部分】
  • Hive的数据存放在分布式文件系统上；元数据存放在Mysql中
  • 因为元数据存在mysql中，如果接入的spark/Impala，都可以读到mysql中的元数据，转换比较平滑。
• derby（一个内置的数据库）：默认存放MYSQL中，只能单窗口使用。
• Driver：一个SQL经过Driver，解析成一个作业（可以是Spark作业，也可以Impala作业，可插拔的驱动）
  

3、Hive和RDBMS区别

4、Hive环境搭建

4.1.上传jar包并解压

[root@maggie ~]$ chown -R xiaofeng:xiaofeng /home/xiaofeng/software/

//切换成xiaofeng用户
[hadoop@maggie software]$ tar -xzvf /apache-hive-3.1.2-bin.tar.gz -C ../app/
	......（解压过程省略）
[xiaofeng@maggie101 app]$ ln -s apache-hive-3.1.2-bin  hive   【设置软连接】
1
2
3
4
5
6

4.2.配置环境变量

[xiaofeng@maggie101 ~]$ vi .bashrc
	export HIVE_HOME=/home/xiaofeng/app/hive
	export PATH=$HIVE_HOME/bin:$PATH
[xiaofeng@maggie101 ~]$ sources .bashrc 【使环境变量生效】
1
2
3
4

• 文件夹简介

[xiaofeng@maggie101 hive]$ ll      【再创建一个logs日志文件夹】
	total 76
	drwxrwxr-x 3 xiaofeng xiaofeng  4096 Nov 24 22:07 bin    【脚本相关】
	drwxrwxr-x 2 xiaofeng xiaofeng  4096 Nov 24 22:07 binary-package-licenses
	drwxrwxr-x 2 xiaofeng xiaofeng  4096 Nov 24 22:07 conf    【配置文件相关，尤其是hive-site
1
2
3
4