devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

XXL-JOB分布式任务调度平台_xxl-job 调用远程接口

作者：羊村懒王 | 2024-02-16 18:27:10

赞

踩

xxl-job 调用远程接口

XXL-JOB 是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

Gitee 地址下载：https://gitee.com/xuxueli0323/xxl-job  或者 https://github.com/xuxueli/xxl-job

一、特性 

  1. ### 特性
  2. - 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
  3. - 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
  4. - 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
  5. - 4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
  6. - 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
  7. - 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
  8. - 7、触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
  9. - 8、调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
  10. - 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
  11. - 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
  12. - 11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
  13. - 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
  14. - 13、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
  15. - 14、分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
  16. - 15、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
  17. - 16、故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
  18. - 17、任务进度监控：支持实时监控任务进度；
  19. - 18、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
  20. - 19、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
  21. - 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
  22. - 21、命令行任务：原生提供通用命令行任务Handler（Bean任务，"CommandJobHandler"）；业务方只需要提供命令行即可；
  23. - 22、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
  24. - 23、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
  25. - 24、自定义任务参数：支持在线配置调度任务入参，即时生效；
  26. - 25、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
  27. - 26、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
  28. - 27、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
  29. - 28、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
  30. - 29、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
  31. - 30、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
  32. - 31、跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案；
  33. - 32、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
  34. - 33、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
  35. - 34、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入"Slow"线程池，避免耗尽调度线程，提高系统稳定性；
  36. - 35、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
  37. - 36、权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；

1.1、架构 

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；

  • 调度模块（调度中心）： 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块； 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

  • 执行模块（执行器）： 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效； 接收“调度中心”的执行请求、终止请求和日志请求等。

 1.2、弥补quartz的不足

Quartz作为开源作业调度中的佼佼者，是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理，从而可以避免上述问题，但是同样存在以下问题：

  • 问题一：调用API的的方式操作任务，不人性化；
  • 问题二：需要持久化业务QuartzJobBean到底层数据表中，系统侵入性相当严重。
  • 问题三：调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个问题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况下，此时调度系统的性能将大大受限于业务；
  • 问题四：quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务，会导致节点负载悬殊非常大；而XXL-JOB通过执行器实现“协同分配式”运行任务，充分发挥集群优势，负载各节点均衡。

XXL-JOB弥补了quartz的上述不足之处。

1.3、自研调度模块

XXL-JOB最终选择自研调度组件（早期调度组件基于Quartz）；一方面是为了精简系统降低冗余依赖，另一方面是为了提供系统的可控度与稳定性；

XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块进行任务调度时，将会解析不同的任务参数发起远程调用，调用各自的远程执行器服务。这种调用模型类似RPC调用，调度中心提供调用代理的功能，而执行器提供远程服务的功能。

二、xxl-job-admin 搭建

2.1、拉取代码

代码结构如下：

运行 SQL 文件至本地数据库：

修改 xxl-job-admin 模块的 yml 文件：

2.2、启动任务调度中心

如下图：

浏览器访问默认地址：http://localhost:8080/xxl-job-admin

账号：admin 密码：123456 （初始状态下）。

2.3、 登录成功

如下图：

到此为止，第一阶段 xxl-job-admin 模块的部署就完成啦。

2.4、整合 SpringBoot 项目

此部分官方已经给出具体案例，我们只需对赶方案例进行整合或修改即可。

接下来就是如何整合到自己的 SpringBoot 项目中。

2.5、引入 maven 依赖

如下图：

注意：此处版本要与 xxl-job-admin 中版本保持一致。

2.6、引入配置类

如下图：

只需引入 XxlJobConfig 配置类即可，其他配置类为该项目其他配置类，与此无关！

可以直接从拉取的项目中复制过来，无需任何修改！！！复制此类到你的项目中即可！

  1. @Configuration
  2. public class XxlJobConfig {
  3.     private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
  4.  
  5.     @Value("${xxl.job.admin.addresses}")
  6.     private String adminAddresses;
  7.  
  8.     @Value("${xxl.job.accessToken}")
  9.     private String accessToken;
  10.  
  11.     @Value("${xxl.job.executor.appname}")
  12.     private String appname;
  13.  
  14.     @Value("${xxl.job.executor.address}")
  15.     private String address;
  16.  
  17.     @Value("${xxl.job.executor.ip}")
  18.     private String ip;
  19.  
  20.     @Value("${xxl.job.executor.port}")
  21.     private int port;
  22.  
  23.     @Value("${xxl.job.executor.logpath}")
  24.     private String logPath;
  25.  
  26.     @Value("${xxl.job.executor.logretentiondays}")
  27.     private int logRetentionDays;
  28.  
  29.  
  30.     @Bean
  31.     public XxlJobSpringExecutor xxlJobExecutor() {
  32.         logger.info(">>>>>>>>>>> xxl-job config init.");
  33.         XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
  34.         xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
  35.         xxlJobSpringExecutor.setAppname(appname);
  36.         xxlJobSpringExecutor.setAddress(address);
  37.         xxlJobSpringExecutor.setIp(ip);
  38.         xxlJobSpringExecutor.setPort(port);
  39.         xxlJobSpringExecutor.setAccessToken(accessToken);
  40.         xxlJobSpringExecutor.setLogPath(logPath);
  41.         xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
  42.  
  43.         return xxlJobSpringExecutor;
  44.     }
  45.  
  46.     /**
  47.      * 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
  48.      *
  49.      *      1、引入依赖：
  50.      *          <dependency>
  51.      *             <groupId>org.springframework.cloud</groupId>
  52.      *             <artifactId>spring-cloud-commons</artifactId>
  53.      *             <version>${version}</version>
  54.      *         </dependency>
  55.      *
  56.      *      2、配置文件，或者容器启动变量
  57.      *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
  58.      *
  59.      *      3、获取IP
  60.      *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
  61.      */
  62.  
  63.  
  64. }

2.7、修改 yml 配置文件

代码如下：

  1. xxl:
  2.   job:
  3.     admin:
  4.       # 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。
  5.       # 执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
  6.       addresses: http://127.0.0.1:8086/xxl-job-admin
  7.     # 执行器通讯TOKEN [选填]：非空时启用；
  8.     accessToken:
  9.     executor:
  10.       # 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
  11.       appname: xxl-job-executor-mileage
  12.       # 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。
  13.       #从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
  14.       address:
  15.       # 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；
  16.       # 地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
  17.       ip:
  18.       # 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
  19.       port: 8088
  20.       # 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
  21.       logpath: /data/applogs/xxl-job/jobhandler
  22.       # 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
  23.       logretentiondays: 30
  24. logging:
  25.   config: classpath:logback.xml      

2.8、编写测试类

代码如下：
  1. @Component
  2. public class MileageXxlJob {
  3.     private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);
  4.  
  5.  
  6.     /**
  7.      * 1、简单任务示例（Bean模式）
  8.      */
  9.     @XxlJob("mileageJobHandler")
  10.     public void mileageJobHandler() throws Exception {
  11.         XxlJobHelper.log("XXL-JOB, Hello World.");
  12.  
  13.         for (int i = 0; i < 5; i++) {
  14.             XxlJobHelper.log("beat at:" + i);
  15.             System.out.println("ok");
  16.             TimeUnit.SECONDS.sleep(2);
  17.         }
  18.         // default success
  19.     }
  20. }    
项目目录如下：

编写完成后，启动服务！（注意启动顺序，先启动 xxl-job-admin 模块，再启动您的 springboot 服务）

三、 任务调度中心，配置服务

3.1、新增执行器

3.2、新增任务

3.3、执行任务

注：测试选择执行一次即可，如需项目保持运行，选择启动。

3.4、查看运行结果

参考：XXL-JOB分布式任务调度平台(真·保姆级教程)_MarkerHub的博客-CSDN博客

四、FAQ：xxljob时任务调度报表显示所有数据为0的bug

查看源码发现：类JobLogReportHelper下有调用方法：findLogReport，而这个方法返回的查询结果map的key是小写的，不是驼峰命名的，导致map通过驼峰命名的key取数据的时候取不到：

修改取值的key的名称全部为小写，重启xxl-job-admin 即可 。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/96093
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号