赞
踩
在hive和mysql中都可以通过explain+sql语句,来查看执行顺序。
对于一条标准sql语句,它的书写顺序是这样的:
select … from … where … group by … having … order by … limit …
(1)mysql语句执行顺序:
from... where...group by... having.... select ... order by... limit …
(2)hive语句执行顺序:
from … where … select … group by … having … order by … limit …
hive基于MapReduce程序,它的执行顺序决定了hive语句的执行顺序
Map阶段:
1.执行from加载,进行表的查找与加载
2.执行where过滤,进行条件过滤与筛选
3.执行select查询:进行输出项的筛选
4.执行group by分组:描述了分组后需要计算的函数
5.map端文件合并:map端本地溢出写文件的合并操作,每个map最终形成一个临时文件。
然后按列映射到对应的reduceReduce阶段:
Reduce阶段:
1.group by:对map端发送过来的数据进行分组并进行计算。
2.select:最后过滤列用于输出结果
3.limit排序后进行结果输出到HDFS文件
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。