跳到主要内容
版本:7.0.0

输出数据集

1. 概述

1.1. 功能说明

输出数据集是 ETL 处理后的结果数据,可用于后续的业务分析和报表分析。

在 ETL 数据流任意节点可以配置多个输出数据集算子,并为 ETL 输出数据集指定不同的存储位置。

并且用户可对 ETL 的输出数据集设置加速字段,系统会按照这些字段对数据集进行分片处理,从而提升这些数据集用于卡片查询时的速度。

1.2. 前提条件

Smart ETL 中至少需要 1 个 输入数据集 ,才能配置 输出数据集 。

2. 使用指导

2.1. 操作步骤

  1. 将 ETL 算子区的 输出数据集 算子拖入右侧画布编辑区,并使用连接线进行连接;

  2. 点击 输出数据集 算子,命名并选择存储位置、预览检查数据结果;

  3. 根据需要编辑输出数据集字段 注释,按需设置 加速字段 等配置项;

  4. 成功运行 ETL 任务后,系统将自动输出 ETL 数据 至数据中心-数据集;

  5. 随后,您可以按需配置 预览权限,管理 ETL 输出数据集。

image.png

2.2. 详细说明

注意:操作过程中需要保证连线为实线,虚线表示链路不通需要检查前面操作。

  1. 将 ETL 算子区的 输出数据集 算子拖入右侧画布编辑区,并用连接线连接到前方算子 ;

image.png

  1. 点击 输出数据集 算子,命名名称选择存储位置,预览检查数据结果;

image.png

  1. 单击 编辑注 修改输出数据集字段注释,点击 确定 保存修改结果。输出数据集会自动继承输入数据集字段注释,可按需修改;

image.png

  1. 点击 输出数据集 算子上方标识(如图区域1),可设置加速字段。系统会按照这些字段对数据集进行分片处理,使下游卡片的查询更快速。推荐将常用的筛选字段(如日期)作为加速字段;

注意:支持设置三个加速字段,设置好的加速字段可在左侧配置详情中查看。

image.png

  1. 在页面右上方,选择 保存运行并退出 即可得到转换后的数据集,该数据集即为 ETL 数据集。可按需选择保存方式;

image.png

  1. 对于 ETL 数据集,管理员可在 管理中心 > 系统设置 > 高级设置 中,设置 是否允许访问者按照 ETL 所有者权限预览数据集 等操作。

    · 开启:ETL 访问者将按照所有者权限对 ETL 中的数据集进行预览;

    · 关闭:ETL 所有者、访问者以及系统管理员在预览 ETL 中的数据集时,ETL 访问者按照自己的数据集权限得出预览结果,ETL 所有者和系统管理员按照所有者的数据集权限得出预览结果,请谨慎操作!

image.png