数据集更新
创建于 2022-10-26 / 最近更新于 2022-11-04 / 2479
字体:
[默认]
[大]
[更大]
1. 数据集更新概述
数据更新中可以对数据的更新策略、去重主键、更新方式进行集中的管理
2.数据集更新策略说明
当前业务计划助手提供按版本主键更新、增量写入、全量覆盖三种数据更新策略,下面将具体说明三种更新策略
1.按版本主键更新:选择该方式需要设置版本主键
更新时将先清空版本主键相同的数据,并写入新的数据内容。版本主键用于确定数据版本唯一性,同一版本下允许有多条明细,适用于滚动计划管理、或者需要按照业务划分,分别控制数据更新覆盖的范围的场景
如下图所示,配置week version为版本主键
2.增量更新:即每次增量写入的新的数据
该方式一般需要配合去重主键使用,系统将做数据的增量更新。在新增数据中存在主键一致的数据时,可以选择保留旧数据还是覆盖旧数据。下方将具体说明两种情形
选择保留旧数据:当新增数据中存在和历史数据重复的部分时,将保留旧数据,如下图所示,其中配置去重复主键week version+城市
选择覆盖旧数据:当新增数据中存在和历史数据重复的部分时,将使用新数据覆盖掉旧数据,如下图所示,同样配置去重复主键week version+城市
3.全量覆盖:该方式理解较为简单,即每次清空掉所有历史数据后,写入新的数据
更新效果如下:
3.去重主键设置
去重主键用于确认数据的唯一性,当存在多条主键一致的数据时,系统将只保留一条
4.更新方式
更新方式中提供手动更新和外部API两种类型,手动更新方式中,点击右上角的更新按钮即可。
如果需要从外部触发,可以使用助手提供的外部触发url
5.数据集回流
如果需要将计划结果回流到对应业务系统,或回到galaxy和universe做进一步的分析与加工,可以通过复制数据集回流SQL。
2 人点赞过