1 XXL-JOB分布式定时任务框架介绍
XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
https://www.xuxueli.com/xxl-job/
2 传统定时任务框架存在的问题
1、 业务逻辑与定时任务逻辑放入在同一个Jar包中，如果定时任务逻辑挂了也会影响到业务逻辑；
2、 如果服务器集群的情况下，可能存在定时任务逻辑会重复触发执行；
3、 当任务量很大的时候，传统任务调度不支持任务拆分，无法快速执行完毕；
4、 定时任务非常占用服务器的内存，不管用什么框架，底层肯定是一个while死循环。
3 XXL-JOB框架核心模块说明
- xxl-job-admin：调度中心
- xxl-job-core：公共依赖
- xxl-job-executor-samples：执行器Sample示例
核心模块：
调度中心模块：统一管理调度任务（控制执行器执行任务），自身不承担业务逻辑，同时提供了“日志、告警、注册中心”等功能。
执行器模块：负责接收调度中心的请求，进行定时任务逻辑执行。
4 XXL-JOB环境搭建
4.1 服务环境
· Maven3+
· Jdk1.8+
· Mysql5.7+
4.2 搭建xxl-job-admin调度中心
作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。
1. 下载xxl-admin源码https://www.xuxueli.com/xxl-job/，导入IDEA编辑器；nn2. 将xxl-job依赖的sql导入到Mysql中；nnsql文件在xxl-job-masterxxl-job-masterdocdb目录。nn3. xxl-job-admin启动项目，访问http://localhost:8080/xxl-job-adminnn默认登录账号 “admin/123456”
5 SpringBoot整合XXL-JOB执行器
5.1 引入pom依赖
<dependencyManagement>n <dependencies>n <dependency>n <!-- Import dependency management from Spring Boot (依赖管理：继承一些默认的依赖，工程需要依赖的jar包的管理，申明其他dependency的时候就不需要version) -->n <groupId>org.springframework.boot</groupId>n <artifactId>spring-boot-starter-parent</artifactId>n <version>2.6.7</version>n <type>pom</type>n <scope>import</scope>n </dependency>n </dependencies>n</dependencyManagement>nn<dependencies>n <!-- spring-boot-starter-web (spring-webmvc + tomcat) -->n <dependency>n <groupId>org.springframework.boot</groupId>n <artifactId>spring-boot-starter-web</artifactId>n </dependency>n <dependency>n <groupId>org.springframework.boot</groupId>n <artifactId>spring-boot-starter-test</artifactId>n <scope>test</scope>n </dependency>nn <!-- xxl-job-core -->n <dependency>n <groupId>com.xuxueli</groupId>n <artifactId>xxl-job-core</artifactId>n <version>2.4.0-SNAPSHOT</version>n </dependency>nn</dependencies>
5.2 创建配置类
1. 将xxl-job-executor-sample-springboot模块下的application.propertis文件
和logback.xml文件copy到自己的resources目录下
注意需要修改执行器端口xxl.job.executor.port参数，不能和其它服务端口相同
5.3 添加XxlJobConfig配置
/**n * xxl-job confign *n * @author xuxueli 2017-04-28n */n@Configurationnpublic class XxlJobConfig {n private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);n @Value("${xxl.job.admin.addresses}")n private String adminAddresses;n @Value("${xxl.job.accessToken}")n private String accessToken;n @Value("${xxl.job.executor.appname}")n private String appname;n @Value("${xxl.job.executor.address}")n private String address;n @Value("${xxl.job.executor.ip}")n private String ip;n @Value("${xxl.job.executor.port}")n private int port;n @Value("${xxl.job.executor.logpath}")n private String logPath;n @Value("${xxl.job.executor.logretentiondays}")n private int logRetentionDays;nn @Beann public XxlJobSpringExecutor xxlJobExecutor() {n logger.info(">>>>>>>>>>> xxl-job config init.");n XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();n xxlJobSpringExecutor.setAdminAddresses(adminAddresses);n xxlJobSpringExecutor.setAppname(appname);n xxlJobSpringExecutor.setAddress(address);n xxlJobSpringExecutor.setIp(ip);n xxlJobSpringExecutor.setPort(port);n xxlJobSpringExecutor.setAccessToken(accessToken);n xxlJobSpringExecutor.setLogPath(logPath);n xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);nn return xxlJobSpringExecutor;n }nn}
5.4 创建定时任务
/**n * 定时任务n */n@Componentnpublic class JobHandler {nn @XxlJob("kexuektJobHandler")n public void demoJobHandler() {n System.out.println("kexuektJobHandler执行器开始执行");n System.out.println("参数：" + XxlJobHelper.getJobParam());n }nn}
测试：
1. 执行器管理手动添加执行器
2. 新增定时任务
3. 点击执行一次，查看控制台效果。
6 XXL-JOB原理解析
6.1 执行流程
1、执行器项目启动后会将自己的IP和端口xxl.job.executor.port信息注册到“调度中心的注册中心”n2、调度中心向执行器下发执行任务时，根据注册的执行器名称xxl.job.executor.appname，从注册中心找到所有执行器的IP地址（执行器集群），然后根据策略（轮训、随机等）去调用某一具体的执行器。n3、“执行器”执行任务逻辑，执行结束后将结果通知给“调度中心”成功或失败；
6.2 负载均衡策略
第一个、最后一个、轮训、随机、分片广播等。
6.2 分片广播 - 实现千万级消息处理
如果有100w条消息，如何最快的通知给用户？
- 需求是要在一分钟内处理完，正常情况下处理完100w条消息需要10分钟。
- 解决：开10台服务器（10个执行器），每个执行器分别处理10w条消息。
通过分页解决：
第一台服务器执行1-10w条
第一台服务器执行10w-20w条
问题：10台服务怎么知道自己从那条开始执行？
答案：通过分片广播策略。nint shardIndex = XxlJobHelper.getShardIndex(); // 0-9nint shardTotal = XxlJobHelper.getShardTotal(); // 10n得到每台服务需要处理多少条消息：100w / shardTotal = 10wn得到分页开始值：(100w / shardTotal) * shardIndex = 0, 10w, 20 w …….nlimit(0, 10w) limit(10w, 10w) limit(20w, 10w) ……nnn模拟1=1w条数据nselect * from sys_log limit 0,10;nselect * from sys_log limit 10,10;nselect * from sys_log limit 20,10;
