任务调度
1. 概述
任务调度支持每天、每周、每月的定时调度机制,支持小时级、分钟级的准实时调度;支持上游数据集更新即时触发的事件调度能力,防止任务空跑。
2. 配置任务调度
- 单击已创建的离线开发任务,进入任务调度设置页面。
- 单击「编辑」,配置任务调度,支持「定时调度」与「事件调度」。
定时调度:按照间隔时长(分)/按照间隔时长(时)/每天/每周/每月/每年配置定时策略,开启定时调度后,系统将在用户指定的时间点,按照指定的参数值,自动调起工作流运行。
事件调度:配置及运行机制等同于ETL中的「勾选的数据集更新后」。
选择事件调度后,自动获取工作流中源头ETL(即在工作流中无调度依赖,首批运行的ETL)中的所有输入数据集。(如进行了输入替换,则获取并显示节点配置中替换后的数据集)
-
选择数据集:勾选工作流更新需要依赖的数据集。当勾选的数据集更新后,判断目标工作流运行条件是否满足,如符合,则自动调起工作流运行。
-
触发条件:
- 触发条件为「任何一个勾选的数据集更新后都会触发」:
- 接收到勾选数据集的更新事件后,调起工作流运行;
- 运行条件再次满足后,可重新发起工作流运行;
- 触发条件为「任何一个勾选的数据集更新后都会触发」:
-
触发条件为「所有勾选的数据集都更新后触发」:
- 所有勾选的数据集均更新后,调起工作流运行:
- 运行条件再次满足后,可重新发起工作流运行;
- 勾选 「所有数据集需在同一天内 (00:00:00-23:29:59) 更新」后,每日零点重新统计数据集更新情况。