Universe 帮助中心

4.2.2 DATASET节点

创建于 2022-10-28 / 最近更新于 2022-11-07 / 1958
字体: [默认] [大] [更大]

DATASET任务节点支持从数据集获取数据/向数据集中插入数据,包括:从数据集获取数据、注册数据集、更新数据集。

  • 从数据集获取数据:可以将数据集中的数据获取到工作流中

    • 数据集:从数据集列表中进行选择

    • 输出:从数据集中获取到的数据将作为该任务节点的输出数据,允许对输出进行命名

  • 注册数据集:可以将工作流产生的数据注册到数据中心的数据集中

    • 输入:可选择当前工作流中任何任务节点的输出数据作为输入

    • 去重主键:注册数据集时,支持为数据集设置去重主键

    • 数据集名称/保存至:指定数据集名称和位置

      • 对于不存在的数据集,进行新建操作;新建的数据集会与与相应的任务节点进行绑定

      • 对于已存在的数据集,进行全量替换操作;对于某个数据集,仅允许被绑定的“任务节点”进行注册操作

  • 更新数据集:可以对数据中心的数据集进行全量/增量更新

    • 输入:可选择当前工作流中任何任务节点的输出数据作为输入

    • 数据集:从数据集列表中进行选择

    • 模式:支持全量更新和增量更新两种模式,对于某个数据集允许不同的“任务节点”/“工作流”进行更新操作

      • 覆盖旧数据:当前输入的数据将替换数据集中的原有数据,所有历史数据将会被清空

      • 添加新数据:当前输入的数据将追加到数据集中原有数据里,若设置了主键,会根据主键进行去重


21 人点赞过