Universe 帮助中心

5.2.2.3 输出数据集

创建于 2022-10-21 / 最近更新于 2022-11-07 / 1173
字体: [默认] [大] [更大]
  • 数据流中需要1个及以上的“输出”算子(包括:输出至工作流、输出数据集、插入数据);

  • 数据流中的“输出数据集”算子在工作流引用时无感知,将作为数据流中的内部算子运行;

  • “输出数据集”算子支持注册数据集/更新数据集:

    • 注册数据集:可以将数据流产生的数据注册到数据中心的数据集中

      • 去重主键:注册数据集时,支持为数据集设置去重主键

      • 数据集名称/保存至:指定数据集名称和位置

        • 对于不存在的数据集,进行新建操作;新建的数据集会与与相应的算子进行绑定

        • 对于已存在的数据集,进行全量替换操作;对于某个数据集,仅允许被绑定的“算子”进行注册操作



  • 更新数据集:可以对数据中心的数据集进行全量/增量更新

    • 数据集:从数据集列表中进行选择

    • 模式:支持全量更新和增量更新两种模式

      • 覆盖旧数据:当前输入的数据将替换数据集中的原有数据,所有历史数据将会被清空

      • 添加新数据:当前输入的数据将追加到数据集中原有数据里,若设置了主键,会根据主键进行去重



7 人点赞过