Tez优化参数设置_tez.grouping.max-size

Tez内存优化

1、AM、Container大小设置

tez.am.resource.memory.mb

参数说明：Set tez.am.resource.memory.mb tobe the same as yarn.scheduler.minimum-allocation-mb the YARNminimum container size.

hive.tez.container.size

参数说明：Set hive.tez.container.size to be the same as or a small multiple(1 or 2 times that) of YARN container size yarn.scheduler.minimum-allocation-mb but NEVER more than yarn.scheduler.maximum-allocation-mb.

2、AM、Container JVM参数设置

tez.am.launch.cmd-opts 

默认值：80%*tez.am.resource.memory.mb

参数说明：一般不需要调整

hive.tez.java.ops

    默认值：80%*hive.tez.container.size

       参数说明：Hortonworks建议“–server –Djava.net.preferIPv4Stack=true–XX:NewRatio=8 –XX:+UseNUMA –XX:UseG1G”

tez.container.max.java.heap.fraction

    默认值：0.8

       参数说明：task\AM占用JVM Xmx的比例，该参数建议调整，需根据具体业务情况修改；

3、Hive内存Map Join参数设置