离线开发任务

1. 概述

离线开发模块提供低门槛可视化ETL数据流编排能力，并支持Python脚本、Shell命令等扩展任务类型，提升开发效率；支持数据流等多种算子，提供图形化的数据集成和处理能力；同时支持通过循环控制、条件分支、子工作流等方式高效完成任务编排。

2. 创建离线开发任务

在离线开发页面创建离线开发任务，完成后在任务列表中进行管理。

1. 进入「离线开发」页面，点击「新建离线开发」。

   

2. 单击编辑icon进行任务名称及描述信息配置。

   

3. 将左侧节点按需拖入画布，并添加节点间连线，进行离线开发任务编排。

   • 数据集 节点相关说明，详见数据集节点。
   • 数据流 节点相关说明，详见数据流节点。
   • 智能ETL 节点相关说明，详见智能ETL节点。
   • 任务编排相关说明，详见任务编排说明。

   

4. （可选）若需要创建工作流参数，单击右上角「参数设置」进行配置。当工作流执行时，参数将被动态地替换为其对应的值，并在数据筛选等环节生效。参数设置相关说明，详见参数配置说明。

   

5. 离线开发任务配置完成后，单击右上角「保存」。

   

3. 管理离线开发任务

离线开发任务创建完成后，可在离线开发任务列表中查看已创建的任务及基本信息（包括任务名称、描述、创建者、创建时间等），并对任务进行集中管理，进行运行、编辑、删除工作流等管理操作。

• 查看任务

  单击列表中的目标任务，进入任务详情页。该页面主要用于展示目标任务的详情信息同时支持权限管理、调度设置等工作流属性配置。

  • 权限管理：查看/管理工作流所有者及访问者。
  • 调度设置：支持修改调度状态、定时调度策略、调度参数等信息。

  

• 编辑任务

  对已存在的任务进行修改。点击「编辑」按钮后， 跳转至任务编辑页面。

  

• 运行任务

  执行一个已创建的任务。每次运行任务，将对应生成一个任务实例，用于本次运行的任务内各项节点的状态查看及运维管理。

  

• 重命名任务

  重命名任务，同路径下工作流不可重名。（当前仅支持根目录）。

  

• 删除任务

  删除已创建的工作流，删除后，任务内引用的ETL将恢复为手动运行，并支持被其他任务引用。

  

4. 运行离线开发任务

工作流任务配置完成并保存后，可通过手动/平台调度/URL触发的方式运行工作流，用户可指定对应运行方式下的运行参数值，若未指定，则使用参数默认值。

手动运行入口：

• 工作流编辑页 > 保存运行并退出

  

• 工作流详情页 > 更多操作 > 运行

  

• 工作流列表页 > 运行

  

5. 参数配置说明

支持按照实际业务需要创建工作流参数，其作用域为当前工作流。当工作流执行时，参数将被动态地替换为其对应的值，并在数据筛选等环节生效。

工作流参数定义:

单击「参数列表」> 设置，进行工作流参数的新增/修改/删除。

• 名称（必填项）：工作流参数名称，支持输入中文/数字/字母/下划线（不允许为空），参数名称不允许重复。
• 类型（必填）：工作流参数存储类型，支持选择文本、数值、日期三种类型。
• 值（非必填）：工作流参数默认值，可在运行时动态指定。
• 描述（非必填）：用于解释当前工作流参数的用法等。

此外，工作流参数定义还支持直接引用全局参数。

工作流参数引用方式：[DYNAMIC_PARAMS.参数名称]，未动态传入参数值时，取工作流参数中定义的默认值。

6. 任务编排说明

任务编排是指根据业务需求，将业务场景内涉及到的各项任务按照其运行顺序及依赖关系进行编排的过程。

在离线开发任务编排中，连线用于连接不同的任务节点，以定义它们之间的执行顺序和调度逻辑。连线箭头方向表示任务的运行顺序，连线样式表示上下游的调度关系，目前支持成功调度、失败调度、顺序调度三种调度关系，整体运行逻辑说明：

• 成功调度：上游运行完成且运行结果为“成功”时，立即调起下游任务运行，如运行结果为失败等，则下游任务均不执行。
• 失败调度：上游运行完成且运行结果为“失败”时，立即调起下游任务运行，如运行结果为成功等，则下游任务均不执行。
• 顺序调度：上游运行完成后，无论其运行结果为成功/失败等，均会立即调起下游任务运行。
• 若下游任务存在多个上游依赖，则所有上游依赖的调度关系均满足后，方可调起下游任务运行。
• 若任务不存在上游依赖，则在工作流运行后，第一时间调起该任务的运行。