当前位置:   article > 正文

数仓工具—Hive执行引擎(18)_consider using a different execution engine (i.e.

consider using a different execution engine (i.e. spark, tez) or using hive

Hive 执行引擎

前面我们已经搭建起了Hive 的基础环境,每次当你使用客户端的时候,你就会看到这样的一串日志,提示我们不要再使用MR 去执行hive sql 了

Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
  • 1

hive-execution

Tez

tez 是基于hive 之上,可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点,tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右,大任务7-10倍左右,根据情况不同可能不一样。

Tez 安装配置

因为我用的是idea ,所以我先将源代码导入到了idea 中去,代码的git 地址https://github.com/apache/tez

然后使用hadoop version 看了一下我的版本,调整了一下pom 中的版本配置,本来是3.1.3 的

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/一键难忘520/article/detail/745386
推荐阅读
相关标签
  

闽ICP备14008679号