当前位置:   article > 正文

hadoop常用接口及管理页面及问题收集_hadoop mr管理页面

hadoop mr管理页面

50070端口:访问hadoop管理页面

8088端口:访问Yarn管理页面

8042端口:从节点node管理页面,可查看节点的MR任务处理信息(Tools ---> Local logs)

注:windows下访问UI管理页面时,需设置“C:\Windows\System32\drivers\etc\hosts”文件,添加各节点主机名,方便访问。

常见问题收集:

问题1:端口无法访问的解决方法:Linux关闭防火墙操作

问题2:mapreduce无作业输出日志:

mapreduce的作业日志存放于目录“hadoop/logs/userlogs/”下,需要另外开启作业历史守护进程

  1. --启动mapreduce的作业历史守护进程
  2. > /opt/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

 参考链接:1.Hadoop 2.6 日志文件和MapReduce的log文件 

问题3:windows下无法访问ApplicationMaster的跟踪URL,因为链接地址中的master无法解析所致

  1. 解决方法:向hosts文件中追加静态IP和主机名
  2. C:\Windows\System32\drivers\etc\hosts
  3. 192.168.190.200 master
  4. 192.168.190.201 slave1

参考链接:1.集群常见错误解决方案

 

 

 

 

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号