数据流支持导入Smart ETL
1.概述
为支持用户从Smart ETL平滑过渡使用数据开发功能,数据开发支持Smart ETL一键迁移。该功能可将您创建的ETL(包括任务配置、算子依赖关系、使用到的数据集)快速、完整地迁移至新平台,实现业务的无缝衔接。
2.操作步骤
-
进入数据开发模块,选择创建离线开发任务的文件夹,新建离线开发任务。
-
拖入数据流节点,双击或者点击编辑进入数据流开发页面。
-
点击右上角「... > 智能ETL导入」,弹框展示任务所有者至少有使用权限的ETL,选中需要迁移的ETL。
注意ETL迁移后,将会覆盖当前数据流所有节点和配置。
-
完成后,数据流中的所有节点(包括算子的配置、算子依赖关系、输入数据集)都会被迁移过来,输出数据集需要再次创建或者选择已存在的数据集(仅支持离线开发数据集)。
输出数据集支持全量和增量更新,当前置节点数据结构发生变更时,支持自动更新数据结构,为已存在表自动添加字段。
-
迁移前输出的ETL数据集A可能会作为后续Smart ETL的输入数据集,迁移后数据输入到离线开发数据集B,ETL数据集A将不再有数据进入,支持一键切换功能,将后续ETL的输入数据集从A切换为B。
选择切换的离线开发数据集
检查是否有字段缺失,无误后点击确定,即完成迁移
建议后续ETL先做数据集切换再做迁移,减少人工操作步骤。
-
原先可能使用输出的ETL数据集A创建了卡片,迁移后替换为离线开发数据集B,支持卡片使用的数据集一键切换为离线开发数据集B。
支持批量创建或者所有卡片一键切换。
选择切换的离线开发数据集。
检查是否有字段缺失,无误后点击确定,即完成迁移。
-
调度配置:所有ETL完成迁移后,重新配置调度,离线开发对所有初始数据流的输入数据集配置事件调度。