集群中yarn调度节点失效分析解决_yarn 从节点没有工作

在cdh集群上跑任务的时候，cm界面上报这个错误：

分析过程：核对yarn日志所在的磁盘空间，剩余空间足够使用，所以，此问题并非是由于磁盘空间不足引起的；
经过仔细排查，发现/app/yarn文件目录的权限不属于yarn用户组，猜测可能是因为使用yarn去调度资源的时候，用户组权限问题，无法在yarn日志文件目录上创建文件，导致无法申请到相应的资源，cm才报这个错误；
更改yarn的文件目录用户组；

chown yarn:hadoop -R /app/yarn
chown yarn:yarn -R /app/yarn/nm/filecache /app/yarn/nm/nmPrivate /app/yarn/nm/usercache
1
2

执行以上之后，cm报错自动消失了；

当出现磁盘空间利用率超过
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 的阈值时，也会出现此问题；

此时需要及时清理磁盘文件，或是更改以上参数；

相关连接

https://stackoverflow.com/questions/29131449/why-does-hadoop-report-unhealthy-node-local-dirs-and-log-dirs-are-bad.
https://community.cloudera.com/t5/Support-Questions/1-1-local-dirs-are-bad-yarn-nm-1-1-log-dirs-are-bad-yarn/td-p/145718.