hive学习笔记：FetchTask_hive fetch result

作者：花生_TL007 | 2024-02-27 00:07:21

踩

hive fetch result

hive学习笔记：FetchTask

我们在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗？那个也太浪费时间和内存啦，所以有一个hive的配置如下图所示：

我们会发现这个属性所对应着两种模式，minimal和more。

在minimal下，我们执行select * ，limit，filter在一个表所属的分区表上操作，这三种情况都会直接进行数据的拿去，也就是直接把数据从对应的表格拿出来，不用跑mr代码，这样会快点儿运行程序。

在more模式下，运行select，filter，limit，都是运行数据的fetch，不跑mr应用，所以感觉more模式会更好点儿。

具体的我们看看下面的演示：

set hive.fetch.task.conversion=minimal  //默认情况下是minimal

select * from  emp

select  empno   from emp;//mr应用程序

set hive.fetch.task.conversion=more

select  empno   from emp;//mr应用程序

可以看到这种情况下。select的查询据变成了数据的fetch而不是mr应用。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/148521