数据集节点

1. 概述

进入离线开发任务编辑页面后，可在左侧将「数据集」节点拖入画布并进行配置。

本章节详细介绍数据集节点的配置项。

2. 节点配置

在任务类型中拖拽【数据集】节点后，单击节点即可为当前的任务节点进行配置。节点配置包含节点名称、描述和数据集，清晰的基本信息配置在未来工作流管理过程中更快的查找和理解节点用途。

• 数据集：从数据集列表中进行选择

• 数据集选择后，支持查看/替换节点中的数据集：

  • 查看数据集：点击数据集名称，跳转至数据集概览页。
  • 替换数据集：点击"数据集"右侧的「替换」按钮，重新指定数据集作为工作流的调度对象。

  

注意：

• 需确保工作流所有者具备目标数据集的所有者权限、且目标数据集未被其他工作流引用时，方可进行选择/替换。

• 数据集算子配置完成后，可通过连线关系进行任务运行顺序编排，同样支持成功、失败、顺序调度；

• 工作流运行时，当「数据集」节点前置依赖条件满足或无依赖条件时，运行该节点，运行时将调起被引用的数据集更新，更新逻辑等同于URL触发更新逻辑：

  • 如开启增量更新，则按照前置清理规则及增量更新SQL进行前置数据清理及数据追加；
  • 如未开启增量更新，则按照模型结构SQL进行全量更新；

• 通过工作流中引用数据集并保存后，该数据集原更新策略将自动失效，并更改为「跟随工作流更新」。

  

3. 运行选项

• 运行标志
  • 禁止执行：工作流运行至该节点后将直接跳过执行，常用于临时数据问题排查、部分任务运行控制等场景。
  • 正常：按照既有调度策略运行该节点，节点默认运行标志。
• 失败重试：与数据集自身配置的失败重试策略保持同步。