输出数据集
1. 概述
1.1. 功能说明
输出数据集是 ETL 处理后的结果数据,可用于后续的业务分析和报表分析。
在 ETL 数据流任意节点可以配置多个输出数据集算子,并为 ETL 输出数据集指定不同的存储位置。
并且用户可对 ETL 的输出数据集设置加速字段,系统会按照这些字段对数据集进行分片处理,从而提升这些数据集用于卡片查询时的速度。
1.2. 前提条件
Smart ETL 中至少需要 1 个 输入数据集 ,才能配置 输出数据集 。
2. 使用指导
2.1. 操作步骤
-
将 ETL 算子区的 输出数据集 算子拖入右侧画布编辑区,并使用连接线进行连接;
-
点击 输出数据集 算子,命名并选择存储位置、预览检查数据结果;
-
根据需要编辑输出数据集字段 注释,按需设置 加速字段 等配置项;
-
成功运行 ETL 任务后,系统将自动输出 ETL 数据集 至数据中心-数据集;
-
随后,您可以按需配置 预览权限,管理 ETL 输出数据集。
2.2. 详细说明
注意:操作过程中需要保证连线为实线,虚线表示链路不通需要检查前面操作。
- 将 ETL 算子区的 输出数据集 算子拖入右侧画布编辑区,并用连接线连接到前方算子 ;
- 点击 输出数据集 算子,命名名称选择存储位置,预览检查数据结果;
- 单击 编辑注释 修改输出数据集字段注释,点击 确定 保存修改结果。输出数据集会自动继承输入数据集字段注释,可按需修改;
- 点击 输出数据集 算子上方标识(如图区域1),可设置加速字段。系统会按照这些字段对数据集进行分片处理,使下游卡片的查询更快速。推荐将常用的筛选字段(如日期)作为加速字段;
注意:支持设置三个加速字段,设置好的加速字段可在左侧配置详情中查看。
- 在页面右上方,选择 保存运行并退出 即可得到转换后的数据集,该数据集即为 ETL 数据集。可按需选择保存方式;
-
对于 ETL 数据集,管理员可在 管理中心 > 系统设置 > 高级设置 中,设置 是否允许访问者按照 ETL 所有者权限预览数据集 等操作。
· 开启:ETL 访问者将按照所有者权限对 ETL 中的数据集进行预览;
· 关闭:ETL 所有者、访问者以及系统管理员在预览 ETL 中的数据集时,ETL 访问者按照自己的数据集权限得出预览结果,ETL 所有者和系统管理员按照所有者的数据集权限得出预览结果,请谨慎操作!