当前位置:   article > 正文

Hadoop的Nodes of the cluster界面MemoryTotal为0B_ese memory total

ese memory total

1、hadoop集群安装部署结束,一键启动:

start-all.sh

2、查看各主从机器上jps进程

jps
  1. master: ResourceManager + NameNode
  2. slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
  3. slave2: NodeManager + DataNode

注意:这里的进程虽然都正确,但是并不代表所修改的配置文件都生效了。只能说明修改后的配置文件语法没错,可以启动!

3、运行测试

(1)、hdfs管理界面   http://master:50070/

(2)、yarn的管理界面:http://master:8088/cluster/nodes

 

(3)、查看hdfs的状态报告 hdfs dfsadmin -report

(4)、查看yarn的基本信息yarn  node -list    

 注意:在(4)命令正常运行时的结果应为:

   

在(2)的网页端里MemoryTotal不为0B,且下方node Labels所在的表格不为空,才算正确,否则说明yarn-site.xml文件有未生效配置!会导致新建任务的时候,一直处于Apps Pending状态!

根据启动信息,到未成功启动的node下查找日志:大致为

 到相应的主机下打开对应的log文件,名字相同,后缀修改一下就好了。如果出现类似

org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031 

等错误,可以断定时yarn-site.xml未生效。

4、yarn-site未生效可能原因:语法正确,但是存在嵌套错误。

如:复制粘贴的时候粘贴到了别的标签内部!此时运行start-all正常,但是app 会卡在pending。

  1. <property>
  2. <name>yarn.resourcemanager.scheduler.address</name>
  3. <value>hadoop200:8030</value>
  4. <property>
  5. <name>yarn.resourcemanager.admin.address</name>
  6. <value>hadoop200:8033</value>
  7. </property>
  8. </property>

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/喵喵爱编程/article/detail/865861
推荐阅读
相关标签
  

闽ICP备14008679号