hive 部分问题_hiver nosuchfielderror: hadoop_classpath

1.使用mr 执行任务时报 org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

FAILED: Execution Error, return code -101 from 
org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH
1
2

问题解析：整合phoenix时造成的错误；
解决： 添加phoenix-xxx-hbase-xxx-hive.jar、phoenix-xxx-hbase-xxx-client.jar 、phoenix-core-xxx-HBase-xxx.jar三个jar到hive/lib目录下

参考：https://blog.csdn.net/madongyu1259892936/article/details/88355257

2.Diagnostic Messages for this Task: Error: Java heap space

Task with the most failures(4):
-----
Task ID:
  task_1574902865618_0001_m_000000

URL:
  http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1574902865618_0001&tipid=task_1574902865618_0001_m_000000
-----
Diagnostic Messages for this Task:
Error: Java heap space

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
1
2
3
4
5
6
7
8
9
10
11
12

解决：
设置 set io.sort.mb=10; 默认值是100，问题轻松解决；
其他几个参数： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题

io.sort.mb 的作用
排序所使用的内存数量。
默认值：100M，需要与mapred.child.java.opts相配 默认：-Xmx200m。
不能超过mapred.child.java.opt设置，否则会OOM。
参考：https://blog.csdn.net/lazythinker/article/details/52872171