Atlas 业务计划助手帮助中心

数据集更新

创建于 2022-10-26 / 最近更新于 2022-11-04 / 2377
字体: [默认] [大] [更大]

1. 数据集更新概述

数据更新中可以对数据的更新策略、去重主键、更新方式进行集中的管理

2.数据集更新策略说明

当前业务计划助手提供按版本主键更新、增量写入、全量覆盖三种数据更新策略,下面将具体说明三种更新策略

1.按版本主键更新:选择该方式需要设置版本主键

image.png

更新时将先清空版本主键相同的数据,并写入新的数据内容。版本主键用于确定数据版本唯一性,同一版本下允许有多条明细,适用于滚动计划管理、或者需要按照业务划分,分别控制数据更新覆盖的范围的场景

如下图所示,配置week version为版本主键

2.增量更新:即每次增量写入的新的数据

image.png

该方式一般需要配合去重主键使用,系统将做数据的增量更新。在新增数据中存在主键一致的数据时,可以选择保留旧数据还是覆盖旧数据。下方将具体说明两种情形

  • 选择保留旧数据:当新增数据中存在和历史数据重复的部分时,将保留旧数据,如下图所示,其中配置去重复主键week version+城市

  • 选择覆盖旧数据:当新增数据中存在和历史数据重复的部分时,将使用新数据覆盖掉旧数据,如下图所示,同样配置去重复主键week version+城市

3.全量覆盖:该方式理解较为简单,即每次清空掉所有历史数据后,写入新的数据

更新效果如下:

3.去重主键设置

去重主键用于确认数据的唯一性,当存在多条主键一致的数据时,系统将只保留一条

image.png

4.更新方式

更新方式中提供手动更新和外部API两种类型,手动更新方式中,点击右上角的更新按钮即可。

image.png

如果需要从外部触发,可以使用助手提供的外部触发url

image.png

5.数据集回流

如果需要将计划结果回流到对应业务系统,或回到galaxy和universe做进一步的分析与加工,可以通过复制数据集回流SQL。

image.png


2 人点赞过