输出数据集
概述
功能说明
输出数据集是 数据流 处理后的结果数据，可用于后续的业务分析和报表分析。
在 ETL 数据流任意节点可以配置多个输出数据集算子，并为 ETL 输出数据集指定不同的存储位置。
并且用户可对 输出数据集设置加速字段，系统会按照这些字段对数据集进行分片处理，从而提升这些数据集用于卡片查询时的速度。
前提条件
数据流 中至少需要 1 个 「输入数据集」或者「数据库输入」 ，才能配置「输出数据集」。
操作步骤
-
将 数据流 算子区的 输出数据集 算子拖入右侧画布编辑区，并使用连接线进行连接；
-
选择全量更新/增量更新
- 全量更新支持新建数据集/选择已存在数据集，当选择已存在数据集，若数据集字段发生了变更，勾选自动更新数据结构，自动覆盖已存在数据集的数据结构
- 增量更新支持选择已存在数据集，配置字段映射关系，若数据集字段发生了变更，勾选自动更新数据结构，自动添加已存在数据集缺少的字段，配置前置清理规则，清理目标数据集数据
-
成功运行离线开发任务后，系统将自动输出 离线开发数据集 至「数据中心 > 数据集」。
配置去重主键和分区字段
新建数据集
输出数据集节点新建数据集时支持指定去重主键和分区字段，分区字段仅支持日期类型字段。
已存在数据集
在数据集详情页配置去重主键和分区字段。
在数据流中，配置来源和目标的映射关系时，必须配置分区字段和去重主键的映射关系。
全量更新勾选自动更新数据结构，会将目标表结构清除，因此全量输出到已存在的目标表，并且目标表存在分区字段，不支持勾选自动更新数据结构。