spark的slave上没有datanode 的解决办法_另外两台没有datanode

问题描述：
通过jps命令 发现 两个slave上都没有datanode，而master上正常
找到namenode和datanode各自的VERSION，发现master下的更新日期为1月27，slave下为12月25
分别查看master和slave日志发现果然有warn

解决办法：

1、停止服务，停止spark的和hadoop的，有stop-all.sh
2、找到哪台的slave的datanode没有，我两台的datanode都没有
于是删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录
我的是 hadoop下dfs/data这个目录，然后rm -r data,再mkdir data
然后bin/hadoop namenode –format，然后再重启hadoop集群，即可
成功的现象：
这个时候slave的VERSION的日志也改了
发现master的dfs/name下有个文件叫in_use.lock
然后master上和slave上的jps的结果和这篇日志的完全一样了
http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/