跳到主要内容

数据流支持导入Smart ETL

1.概述

为支持用户从Smart ETL平滑过渡使用数据开发功能,数据开发支持Smart ETL一键迁移。该功能可将您创建的ETL(包括任务配置、算子依赖关系、使用到的数据集)快速、完整地迁移至新平台,实现业务的无缝衔接。

2.操作步骤

  1. 进入数据开发模块,选择创建离线开发任务的文件夹,新建离线开发任务。

  2. 拖入数据流节点,双击或者点击编辑进入数据流开发页面。

  3. 点击右上角「... > 智能ETL导入」,弹框展示任务所有者至少有使用权限的ETL,选中需要迁移的ETL。

    注意

    ETL迁移后,将会覆盖当前数据流所有节点和配置。

  4. 完成后,数据流中的所有节点(包括算子的配置、算子依赖关系、输入数据集)都会被迁移过来,输出数据集需要再次创建或者选择已存在的数据集(仅支持离线开发数据集)。

    输出数据集支持全量和增量更新,当前置节点数据结构发生变更时,支持自动更新数据结构,为已存在表自动添加字段。

    |400

  5. 迁移前输出的ETL数据集A可能会作为后续Smart ETL的输入数据集,迁移后数据输入到离线开发数据集B,ETL数据集A将不再有数据进入,支持一键切换功能,将后续ETL的输入数据集从A切换为B。

    选择切换的离线开发数据集

    检查是否有字段缺失,无误后点击确定,即完成迁移

    建议后续ETL先做数据集切换再做迁移,减少人工操作步骤。

  6. 原先可能使用输出的ETL数据集A创建了卡片,迁移后替换为离线开发数据集B,支持卡片使用的数据集一键切换为离线开发数据集B。

    支持批量创建或者所有卡片一键切换。

    选择切换的离线开发数据集。

    检查是否有字段缺失,无误后点击确定,即完成迁移。

  7. 调度配置:所有ETL完成迁移后,重新配置调度,离线开发对所有初始数据流的输入数据集配置事件调度。

文档AI助手
观远AI助手关闭