当前位置: article > 正文

spark executor原理详解_spark execute

作者：码创造者 | 2024-06-30 10:23:10

踩

spark execute

我原先以为executor和container有一定区别，只是功能差不多，其实功能基本一致，是作为计算资源单元，来进行计算，作为一个任务分配的单元可以是本地的或者是其他节点上的资源，反正是集群资源，可以使用其他的来进行计算，我看了有些书写的是compute方法，有些事execute方法，不知道哪一个是执行方法，在这里面设置了task数量，还有相关的操作，都实现了相关的，比如说心跳机制，心跳失败后的处理方式，一个excutor执行几个任务，作为一个excutor可以启用多个进行来进行执行，里面还设置了run方法以及每个单元所有的cpu，内存等资源量，都是在run方法里；分配的资源是当你使用的资源超过分配的量之后就会报错，抛出相关异常；他这个资源的使用的检测好像是在metric这个测量系统中来进行配置以及识别检测之类的；还有和Driver的心跳检测，还有大量的和shuffle相关的资源设置；

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/码创造者/article/detail/772311