大促业绩情况分析(准实时增量更新)
1. 概述
高级调度是面向复杂任务编排及实时分析场景提供的任务编排和调度模块,基于此模块可以通过低门槛图形化的编排方式实现多任务混合编排,基于分钟级高频调度及增量更新能力,获得更加优越的分析时效体验。
1.1. 应用场景
适用于以下数据更新要求高、且源数据是根据日期进行增长的场景时,您可以学习该篇文章。
-
大促店铺及达成情况分析_5分钟增量更新
-
大促店铺订单退货监控_5分钟增量更新
1.2. 案例
通过高级调度,实现数据的每5分钟刷新一次,同时执行增量更新的逻辑,从而计算当天的门店营业额达成以及退换货情。
-
输入数据:线下-门店订单数据、各店铺目标、线下-门店退货订单数据、线上-有赞订单退货数据、线上-有赞订单数据– 管家婆系统(ERP、POS、线上各渠道系统)
-
ETL处理:大促店铺销售及达成情况分析->退货监控
-
分析场景:移动端 - 应收/实收/优惠数据、目标达成情况、订单状态监控、退换货情况
1.3. 实现思路
-
先在ETL中,计算门店订单数据情况,以及退换货情况;
-
配置高级调度,将相关数据源以及ETL按顺序配置上,并对相关ETL配置增量更新;
注意:ETL来源的数据源中,需要有日期字段,且业务数据是按时间进行增加的,这样可以依赖时间进行增量更新。
- 打开高级调度的调度状态,以及配置更新策略。
2. 示例步骤
2.1. 数据准备
线下-门店订单数据、线上-有赞订单数据、线上-有赞订单退货数据、这些订单的数据、线下-门店退货订单数据,需要有日期字段,且数据入库也是按日期去进行增量的;
-
数据集设置增量更新逻辑(避免数据全量更新,消耗不必要的资源)
-
在ETL中根据所需,计算门店销售情况、门店目标达成情况、订单退换或情况等;
2.2. 工作流配置
1.点击左上角的【数据集】算子,拖拽至画布中配置数据集节点,将ETL需要更新的输入数据集进行配置(例如线下-门店订单数据、线上-有赞订单数据、线上-有赞订单退货数据等等,若是多个可以配置多个)
2.点击左上角的【智能ETL】算子,拖拽至画布中,点击该节点,搜索相关ETL并点击确认从而选中相关ETL,同时连接上第一个节点,调度方式建议选择成功调度后执行;
3.点击该ETL节点,对订单数据输入数据源,设置筛选条件(例如可以设置大于等于{{{today}}},从而对今天的数据进行处理),点击确认保存;
4、设置节点输出数据集,点击右上角开关,打开输出数据集集替换功能,然后选择【注册数据集】,并设置好相关主键,点击确认报错,即可完成配置;
注意:第一次运行时完成后,调度方式会自动切换成更新数据。
5、若还有其他ETL节点也需要进行增量更新,可以重复2、3、4步骤(例如这里退货情况是另外的ETL计算的,这里按照上述步骤进行配置),所有节点配置完成后,即可点击右上角的保存/保存运行并退出;
注意:也可在工作流列表中找到相关工作流,点击运行也可以运行。
此外,工作流示例中可查看到调度完成情况,若有失败,也可在此查看日志,寻找相关报错原因。
2.3. 配置工作流调度设置
1、在工作流列表中,寻找到该工作流,点击名称跳转至工作流调度设置界面;2、打开调度状态,同时调度模式选择定时调度,并设置5分钟的间隔,这样即可使得该工作流按照5分钟的一次的调度进行调度;
注意:当前工作流增加更新的数据集,是新注册的数据集,若需要对历史的看板进行切换,则这里需要到数据集-卡片处进行批量切换卡片的数据集。