赞
踩
最近安装了一套测试系统,在测试系统的时候,发现有服务正常,但无法进入hive的后台界面。不管是输入hive 还是具体的hive -e 语句执行,都有相应的问题。最后问题定位为相应组件问题。
查询/tmp/user/hive.log 日志,发现tez引擎没有响应,后台通过yarn查看到任务没有进入执行状态。
推测为权限问题,修改了一波权限后,未果。
之后推测为资源问题无法正常执行,查询 //hadoop/yarn/log目录为空,怀疑目录没有挂载上。
这时候 hdp的报错就比较重要了
1/1 local-dirs are bad:/hadoop/yarn/local;1/1 log-dirs are bad:/hadoop/yarn/log;
这个时候根据hdp日志,判断出是空间不足,发现disk usage大于百分之九十报错。
最后把disk usage的空间降低到九十以下,成功解决报错,重启yarn和hive挂载目录,成功解决hive登录不上的问题。
这个问题比较隐蔽,首先网上没有类似的解决方案/思路。第二是对hdp的报错体系不熟悉,不知道哪些报错影响系统,比如这次hive使用有问题,但hbase和hdfs使用完全没问题。
其实也涉及到hive后台登录的时候就开始通过yarn调用tez引擎的原理。
还有对bad没有像对error等同起来,不知道是什么错误。
最后是对存储的不理解,及一般未满存储是警告,而不是直接报错。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。