概述

创建于 2023-11-29 / 最近更新于 2023-12-29 / 1197

字体： [默认] [大] [更大]

1. 概览

1.1. 功能说明

Smart ETL任务的维护和管理是确保数据处理流程正常运行、适应业务变化、提高数据质量和运行效率的关键。

也可以通过监控任务的执行情况，定期调整调度策略等方式解决系统稳定性问题。

2. 使用说明

2.1. 入口说明

针对ETL的管理与维护，观远BI提供了两种入口。

列表管理入口：ETL列表页支持对ETL任务进行统一管理，并以简洁的方式列出当前ETL任务的基本信息，并提供基本操作。

任务详情入口：ETL详情页提供了更详细和任务全貌，并且允许用户深入管理单个任务的所有配置项和高级功能。

为什么查看不了ETL详情？

2.2. 管理操作项

操作项	说明
编辑	修改和调整已创建的ETL任务的配置和参数，以适应业务需求的变化或优化ETL流程。
运行	手动启动或触发已创建的ETL任务，使其执行数据处理流程，通常用于验证任务配置和获取实时处理结果。
查看资源血缘	查看ETL任务执行所涉及的数据资源之间的关系，透过资源血缘，可以方便的看到每一个数据应用、分析看板、ETL、数据集等之间的关联。
查看运行记录	查看ETL任务的执行记录，包括ETL任务开始执行时间、完成时间、运行时长及状态等信息，用于监控任务的执行情况和排查问题。
另存为	复制并创建一个新的ETL任务，基于现有任务的配置进行修改，以便在保留原任务的同时，满足新的业务需求。
重命名	修改ETL任务的名称，用于更好地反映任务的用途、内容或业务场景。
移动至	将ETL任务从当前位置移动到指定的文件夹或目录，用于组织和管理任务的层次结构。
迁移	将ETL任务资源从当前环境迁移至其他环境。
删除	从ETL任务管理系统中删除已创建的任务，谨慎使用，因为删除操作会清除任务及其相关的配置和执行记录。
权限配置	支持对ETL任务的权限进行配置，包括所有者转移和访问者分配，保障数据的安全性和合规性。所有者转移：将任务的所有权转移到另一个用户，所有者会具具有当前任务的全部权限。访问者授权：将当前ETL任务访问权限分配给其他用户或团队成员。这些权限可能包括查看任务、编辑任务、运行任务、查看运行记录等
ETL更新	为ETL任务制定不同的调度策略，控制ETL任务的启动运行（启动时间、运行周期及触发条件），以满足不同的数据处理需求。具体详见 ETL更新策略

注意：支持在ETL列表对多个Smart ETL任务批量操作，包括更新设置、权限配置（所有者转移、访问者授权）、移动或删除。这样将节省重复操作的时间，提高工作效率。

2.3. 操作说明

ETL编辑

点击右上角的编辑按钮，即可进入该ETL的编辑页面进行操作。

ETL运行

手动启动或触发已创建的ETL任务，使其执行数据处理流程，通常用于验证任务配置和获取实时处理结果。

Smart ETL保存后，需要运行才可以输出数据集，初次运行会生成“输出数据集”，再次运行能按照现在的逻辑更新输出数据集。

用户可以直接去ETL中找到对应的ETL处理流运行，也可进入详情界面再运行。点击运行后，ETL任务状态变为“运行中”。

报错详见 Found duplicate column(s) ...，

注意：
只有通过运行，才可以输出数据集;
在必要的时候，可手动更新输出数据集;
运行失败，则表明该ETL处理流存在问题，需要进一步做排查、完善；
自动运行可以使得从输入数据集到输出数据集的自动执行;
对于有多个输入数据源的ETL，若选择“勾选的数据集”来触发更新，建议选定最晚更新时间的输入数据源来进行触发。