当前位置:   article > 正文

spark学习-Master主备切换机制_如何切换到master机

如何切换到master机

Master主备切换机制:

1.主备切换基于两种机制,一种基于文件系统,一种是基于zookeeper

2.基于文件系统主备切换需要在ActiveMaster挂掉后,由我们手动切换到Standby Master上。基于zookeeper的主备切换机制,可以实现自动切换Master。

3.使用持久化引擎读取持久化的storeApps、storeDrivers、storedWorkers。

4.读取的持久化内容为非空,就将App、Driver、Worker信息重新注册到Master内部的内存缓存结构中。

5.将Application和Worker的状态都修改为UNKNOWN,然后向Application对应的Driver以及worker发送Standby Master的地址。

6.Driver和worker正常运作会在接受Master发送的地址后,返回响应消息给新Master。

7.Master在接受响应消息后会使用completeRecovery()方法对没有发送响应消息的Driver和Worker进行处理,过滤掉他们的信息。

8.调用Master自己的schedule方法,对正在等待资源调度的Driver和Application进行调度。


声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/438266
推荐阅读
相关标签
  

闽ICP备14008679号