赞
踩
1、hadoop集群安装部署结束,一键启动:
start-all.sh
2、查看各主从机器上jps进程
jps
- master: ResourceManager + NameNode
-
- slave1(第二namenode): DataNode + SecondaryNameNode + NodeManager
- slave2: NodeManager + DataNode
注意:这里的进程虽然都正确,但是并不代表所修改的配置文件都生效了。只能说明修改后的配置文件语法没错,可以启动!
3、运行测试
(1)、hdfs管理界面: http://master:50070/
(2)、yarn的管理界面:http://master:8088/cluster/nodes
(3)、查看hdfs的状态报告 :hdfs dfsadmin -report
(4)、查看yarn的基本信息:yarn node -list
注意:在(4)命令正常运行时的结果应为:
在(2)的网页端里MemoryTotal不为0B,且下方node Labels所在的表格不为空,才算正确,否则说明yarn-site.xml文件有未生效配置!会导致新建任务的时候,一直处于Apps Pending状态!
根据启动信息,到未成功启动的node下查找日志:大致为
到相应的主机下打开对应的log文件,名字相同,后缀修改一下就好了。如果出现类似
org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031
等错误,可以断定时yarn-site.xml未生效。
4、yarn-site未生效可能原因:语法正确,但是存在嵌套错误。
如:复制粘贴的时候粘贴到了别的标签内部!此时运行start-all正常,但是app 会卡在pending。
-
- <property>
- <name>yarn.resourcemanager.scheduler.address</name>
- <value>hadoop200:8030</value>
-
- <property>
- <name>yarn.resourcemanager.admin.address</name>
- <value>hadoop200:8033</value>
- </property>
-
- </property>
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。