hive优化之参数调优_hive参数调优

hive优化之参数调优
1、hive参数优化之默认启用本地模式

启动hive本地模式参数，一般建议将其设置为true，即时刻启用：

hive (chavin)> set hive.exec.mode.local.auto;

hive.exec.mode.local.auto=false

2、设置hive执行模式

hive (default)> set hive.mapred.mode;

hive.mapred.mode=nonstrict

参数hive.mapred.mode控制着hive的执行模式，如果设置为strict模式，则hive作业禁止3种类型查询：

1）分区表没有启用分区过滤字段。

2）order by没有指定limit限制

3）笛卡尔积

3、限制调整

查询中使用limit限制返回数据行数，但是实际mapreduce任务很多情况已经跑完了整个任务。可以通过配置参数对这种情况进行控制：

设置hive.limit.optimize.enable=true;将针对查询对元数据进行抽样。

同时可能还需要设置以下两个参数：

set hive.limit.row.max.size=100000;

set hive.limit.optimize.limit.file=10;

这样设置不好的一点是有些数据可能永远也访问不到。

4、jvm重用相关设置

jvm重用是hadoop调优参数的内容，其对hive的性能影响是非常大的，特别是对于针对很多小文件的场景或task特别多的场景，这类场景任务执行的时间都很短。hadoop默认使用派生的jvm执行mapreduce任务，对于jvm的启动时很大的开销，特别针对于task任务比较多的场景。jvm重用可以使jvm实例在同一个job中运行n次，n的值在hadoop的mapred-site.xml文件进行配置：

    <property>

            <name> mapred.job.reuse.jvm.num.tasks </name>

            <value>10</value>

    </property>
1
2
3
4
5
6
7

也可以在hive cli中通过set设置：

hive (default)> set mapred.job.reuse.jvm.num.tasks;

mapred.job.reuse.jvm.num.tasks=1

hive (default)> set mapred.job.reuse.jvm.num.tasks=10;

hive (default)> set mapred.job.reuse.jvm.num.tasks;

mapred.job.reuse.jvm.num.tasks=10

这个功能的一个缺点就是会一直占用task插槽不释放，以备重用，直到任务完成才释放。如果在任务过程中出现数据倾斜，则可能task插槽需要等到reduce task任务完成才能释放。

5、推测执行相关配置

hadoop的推测执行功能由mapred-site.xml文件中的2个参数决定：

    <property>

            <name> mapred.map.tasks.speculative.execution </name>

            <value>true</value>

    </property>

    <property>

            <name> mapred.reduce.tasks.speculative.execution</name>

            <value>true</value>

    </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

hive本身也有控制推测执行的参数，可以在hive-site.xml文件中配置：

    <property>

            <name>hive.mapred.reduce.tasks.speculative.execution </name>

            <value>true</value>

    </property>
1
2
3
4
5
6
7

hive中推测执行参数默认值如下：

hive (default)> set mapred.map.tasks.speculative.execution;

mapred.map.tasks.speculative.execution=true

hive (default)> set mapred.reduce.tasks.speculative.execution;

mapred.reduce.tasks.speculative.execution=true

hive (default)> set hive.mapred.reduce.tasks.speculative.execution;

hive.mapred.reduce.tasks.speculative.execution=true

6、单个mapreduce中运行多个group by

参数hive.multigroupby.singlemr控制师徒将查询中的多个group by组装到单个mapreduce任务中。如果启用这个优化，那么需要一组常用的group by键：

7、聚合优化：

启用参数：hive.map.aggr=true

8、参数hive.fetch.task.conversion的调优：

默认值：hive.fetch.task.conversion=minimal

建议值：set hive.fetch.task.conversion=more;

9、设置队列优先级

Set mapreduce.job.queuename=bigdata；