Big Data tools插件连接 + yarn 集群_path is not accessible on master node

目录

big data tools 使用

yarn资源管理

1.修改 mapred-site.xml 配置文件

2.修改yarn-site.xml

3.修改yarn-env.sh

4.分发到其他节点

5.启动yarn

6.访问

链接：

---

big data tools 使用

Path hdfs://192.168.232.100:8020/ is not accessible or does not exist

之所以在连接的时候出现这中情况，是由于在hadoop 集群环境搭建完成之后，没有创建做页目录

设置执行MapReduce作业所需的HDFS目录：

hdfs dfs -mkdir -p /data/hadoop

 对hdfs目录文件的操作，可以参考单机搭建里面的内容：

官方网址为：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

 

 

 

 

 namenode 锁的争抢是通过 zkfc 进程去zookeeper集群中注册，谁最先注册成功，谁就是主节点

resourcemanager 锁的争抢是进程自己直接去 zookeeper 集群中注册，谁先注册成功，谁是主节点

yarn 集群中共 nodemanager 节点数量和 DataNode 节点数量相同，都是通过 workers 配置文件进行启动的 

 mapReduce 计算框架存在自己的弊端，然后引出 yarn 集群框架去进行集群的管理

driver 是一个 jvm 进程， applicationMaster 作用是向其他的 worker（nodemanager）发送 task ，然后回收结果。  

回收后的结果，保存在堆内存中,如果结果数据非常大，会造成内存溢出。

 一个clinet 客户端的请求，会创建一个 applicationMaster

RM ---> resourcemanager

AM----> aplicaitonMaster

yarn资源管理

1.修改 mapred-site.xml 配置文件

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

 

2.修改yarn-site.xml

<configuration>
  <!-- 集成shuffle -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!-- 开启yarn的高可用HA -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <!-- 一个集群的标识，任意的value值都可以，要保证唯一性 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster1</value>
  </property>
  <!-- yarn集群逻辑映射 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <!-- yarn集群物理映射 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>yang102</value>
  </property>
  <!-- yarn集群物理映射 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>yang103</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>yang102:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>yang103:8088</value>
  </property>
  <property>
    <name>hadoop.zk.address</name>
    <value>yang101:2181,yang102:2181,yang103:2181</value>
  </property>
</configuration>

3.修改yarn-env.sh

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

否则在启动yarn的时候会报错

 

4.分发到其他节点

scp mapred-site.xml yarn-site.xml yang101:`pwd`

scp yarn-env.sh yang101:`pwd`

5.启动yarn

start-yarn.sh

 

6.访问

访问任意一个 resourcemanager 的8088 端口，则会显示该节点的状态信息

点解 active

链接：

hadoop全分布：https://blog.csdn.net/yang_zzu/article/details/108171482

hadoopHA高可用：https://blog.csdn.net/yang_zzu/article/details/108199608