【大数据】hive企业级调优（尚硅谷hive3.1.3教程）_hive 3 on tez 尚硅谷

作者：天景科技苑 | 2024-07-08 17:36:23

踩

hive 3 on tez 尚硅谷

目录

前言
一、计算资源配置（资源没给够）
1. Yarn资源配置（整个集群）
2. MapReduce资源配置

二、Explain查看执行计划（重点）
1. 测试用表
2. Explain执行计划概述
3. 查看执行计划基本语法
4. 案例实操演示

三、HQL语法优化
1. 分组聚合优化（map-site聚合）
2. Join优化概述（是什么）
2.1. Common Join
2.2. Map Join（大表join小表）
2.3. Bucket Map Join（大表join大表）
2.4. Sort Merge Bucket Map Join（对内存没有要求）

3. Map join详解
3.1. 自动触发
3.2. 优化案例（优化前-->优化后）

4. Bucket Map Join详解
5. Sort Merge Bucket Map Join详解
6. 数据倾斜（reduce端）
6.1. 数据倾斜概述
6.2. 分组聚合导致的数据倾斜
6.3. Join导致的数据倾斜

7. 任务并行度
7.1. Map端并行度
7.2. reduce端并行度（关注）

8. 小文件合并
8.1. Map端输入文件合并
8.2. Reduce输出文件合并

四、其他优化
1. CBO优化（多个计划选最优）
2. 谓词下推（早点用where过滤）
3. 矢量化查询（向量加法）
4. Fetch抓取（简单任务不开MR）
5. 本地模式（单干，很少用，学习用）
6. Stage并行执行
7. 严格模式

总结

前言

hive调优，面试、工作中常用，非常重要。
重在理解优化思路、参数，主要分为两大块：计算资源调优和执行计划调优

一、计算资源配置（资源没给够）

本教程的计算环境为Hive on MR，yarn上提交任务。计算资源的调整主要包括Yarn和MR

1. Yarn资源配置（整个集群）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/799537