跳到主要内容

离线开发任务

概述

离线开发模块提供可视化 ETL 数据流编排能力,支持数据集成和数据处理。除数据流等算子外,还支持 Python 脚本、Shell 命令等扩展任务类型,并可通过循环、条件分支和子任务等节点完成复杂任务编排。

文件夹管理

用户可以通过文件夹对离线开发任务进行分类管理。在「离线开发」列表页,可新建单级或多级文件夹,并对文件夹执行重命名、移动和权限配置等操作。

文件夹权限分为所有者和使用者:

  • 文件夹的所有者
    查看、删除、重命名、创建离线开发任务、创建子文件夹、移动离线开发任务到此文件夹、移动文件夹到其他有所有者权限的文件夹、配置所有者/使用者权限。
  • 文件夹的使用者
    查看文件夹、创建离线开发任务、移动离线开发任务到此文件夹。

创建离线开发任务

在「离线开发」页面新建任务,完成节点编排、参数配置并发布后,可在任务列表中进行管理。

  1. 进入「离线开发」页面,点击「新建离线开发」。

  2. 点击工作流名称右侧的编辑图标,设置工作流名称、描述和存储路径,然后点击「确定」。

  3. 将左侧节点按需拖入画布,并添加节点间连线,进行离线开发任务编排。

    不同节点的配置方法,详见以下文档:

    节点连接和调度关系详见任务编排说明。

  4. (可选)点击右上角「参数设置」,新增或编辑工作流参数。节点配置可以引用工作流参数,实现参数化调度。详细说明请参考 参数配置说明。

  5. (可选)如需复用已有任务,点击「任务导入」,选择有权限的离线开发任务并导入。系统可导入节点配置、子任务关联关系和任务参数,任务参数可选择不导入。子任务内部配置、任务级超时控制、调度配置和告警配置不会迁移。

  6. 配置完成后,根据需要保存或发布任务。

    • 点击「保存为草稿」,保存当前编辑进度。草稿可以继续编辑和手动运行,但不能用于调度、URL 触发或跨环境迁移。
    • 点击「发布」,生成正式版本。发布版本可用于调度、URL 触发和跨环境迁移。
    • 通过「发布」右侧的下拉菜单,还可选择「发布并退出」或「发布运行并退出」。

    有关草稿版本、发布版本和历史版本的详细说明,请参考 离线开发任务版本管理。

  7. 如需调试节点,右键目标节点,根据调试范围选择「仅运行此节点」「运行到此节点」或「运行此节点及下游」。

管理离线开发任务

离线开发任务创建完成后,可在任务列表中查看任务名称、描述、创建者和创建时间等信息,并对任务执行查看、编辑、运行、重命名、删除和另存为等操作。

查看任务

点击列表中的目标任务,进入任务详情页。该页面展示任务详情,同时支持权限管理和调度设置等属性配置。

  • 权限管理:查看/管理工作流所有者、协作者和使用者。
  • 调度设置:支持修改调度状态、定时调度策略、调度参数等信息。

编辑任务

在任务列表中点击目标任务的「编辑」,进入任务编辑页面。

运行任务

点击目标任务的「运行」。系统会为每次运行生成一个任务实例,可在实例中查看各节点状态并进行运维管理。

重命名任务

点击目标任务的「重命名」,输入新名称。同一路径下的工作流名称不能重复。目前仅支持重命名根目录中的任务。

删除任务

点击目标任务的「删除」。任务删除后,其中引用的 ETL 将恢复为手动运行,并可被其他任务引用。

|450

另存为

点击目标任务的「另存为」,创建内容相同的任务副本。副本会保留节点配置和任务参数,但不会保留调度配置、告警配置和任务级超时控制。若原任务包含子任务,系统不会复制子任务;副本与原任务会引用同一子任务。

权限变更

为便于多人协作,可将离线开发任务的所有者权限转移给其他用户,或为其他用户添加访问权限。

  1. 为其他用户添加访问权限:在任务详情页点击加号图标,在「访问者管理」弹窗中选择用户。

  2. 转移任务所有者:在任务详情页或任务列表中点击「所有者转移」,然后选择新的所有者。为确保任务正常运行,任务引用的子任务也会一并转移,系统还会为新所有者添加相关数据账户和数据集权限。

    注意

    若子任务同时被其他离线开发任务引用,转移所有者可能导致其他任务运行报错。建议避开任务运行时间,统一进行迁移。

运行离线开发任务

任务配置完成并发布后,可通过手动运行、平台调度或 URL 触发方式运行。运行时可为任务参数和全局参数指定值;未指定时,系统使用参数默认值。

触发运行后,在「运行设置」中填写参数值,然后点击「运行」。

|450

手动运行入口如下:

  • 「工作流编辑页 > 发布 > 发布运行并退出」

  • 「工作流详情页 > 更多操作 > 运行」

  • 「工作流列表页 > 运行」

批量补数

当任务处理逻辑发生变化,需要按新逻辑重新处理历史数据时,可在手动运行时批量输入多组参数值,生成多个补数实例。

  1. 在任务列表中,点击目标任务的「运行」。

    |300

  2. 在「运行设置」中选择「批量补数」。

    |380

  3. 选择需要分批传入不同值的参数。未选择的参数使用默认值。

    |380

  4. 按照所选参数的顺序输入参数值。同一组参数值使用英文逗号分隔,不同组参数值换行输入。

    示例:

    20251001,1
    20251002,2
    20251003,3

    |400

  5. 点击「运行」。进入「任务监控 > 任务实例」,查看批量补数生成的任务实例。

  6. 进入任务实例后,可切换查看各个补数实例。页面默认展示最新实例;实例运行结束后,可对单个实例执行「重跑」。

    |500

  7. 点击「运行参数」,查看当前补数实例传入的参数值。

参数配置说明

可根据实际业务需要创建工作流参数,其作用域为当前工作流。工作流运行时,系统会将参数引用动态替换为传入值,并在数据筛选等环节生效。

在工作流编辑页点击「参数设置」,可新增、修改或删除工作流参数。

  • 「名称」(必填):参数名称,支持中文、数字、字母和下划线,且名称不能重复。
  • 「类型」(必填):参数存储类型,可选择文本、数值或日期。
  • 「值」(选填):参数默认值,可在运行时动态指定。
  • 「描述」(选填):参数的用途说明。

工作流参数还支持直接引用全局参数。

|450

工作流参数的引用格式为 [DYNAMIC_PARAMS.参数名称]。运行时未动态传入参数值时,系统使用工作流参数中定义的默认值。

任务编排说明

任务编排用于设置各节点的运行顺序和依赖关系。在画布中,通过连线连接上下游节点:箭头方向表示节点的运行顺序,连线类型表示执行下游节点需要满足的调度条件。

调度关系

节点连线支持以下三种调度关系:

  • 成功调度:仅当上游节点运行成功时执行下游节点;上游节点运行失败时,下游节点不执行。
  • 失败调度:仅当上游节点运行失败时执行下游节点;上游节点运行成功时,下游节点不执行。
  • 顺序调度:上游节点运行结束后执行下游节点,不受上游节点运行结果影响。

节点执行规则

  • 若下游节点存在多个上游依赖,则所有上游连线的调度条件均满足后,才会执行下游节点。
  • 没有上游依赖的节点会在工作流启动后立即运行。