赞
踩
前面我们已经搭建起了Hive 的基础环境,每次当你使用客户端的时候,你就会看到这样的一串日志,提示我们不要再使用MR 去执行hive sql 了
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
tez 是基于hive 之上,可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点,tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右,大任务7-10倍左右,根据情况不同可能不一样。
因为我用的是idea ,所以我先将源代码导入到了idea 中去,代码的git 地址https://github.com/apache/tez
然后使用hadoop version
看了一下我的版本,调整了一下pom 中的版本配置,本来是3.1.3 的
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。