Universe 帮助中心

5.2.2.4 输出至数据源

创建于 2022-10-21 / 最近更新于 2022-11-04 / 1070
字体: [默认] [大] [更大]
  • 数据流中需要1个及以上的“输出”算子(包括:输出至工作流、输出数据集、输出至数据源);

  • 数据流中的“输出至数据源”算子在工作流引用时无感知,将作为数据流中的内部算子运行;

  • “输出至数据源”算子支持插入数据/插入更新数据:

    • 插入数据:将输入的数据insert到外部数据库的“目标表”中去

      • 数据源:可选择配置好的数据库连接

      • 目标表:外部数据库中的目标表名(如果指定的表名不存在则自动新建)

      • 多线程插入:插入的数据量过大时,支持并发插入提升性能

      • 前置/后置sql:在主操作上支持数据准备/善后操作

  • 插入更新数据:将输入的数据根据添加的“去重主键”upsert到外部数据库的“目标表”中去

    • 数据源:可选择配置好的数据库连接

    • 目标表:选择外部数据库中的目标表名

    • 前置/后置sql:在主操作上支持数据准备/善后操作

    • 关于增量更新:建议采用以下方式实现增量更新

      • 先删后插方式:前置sql中提前删除指定时间范围/指定id范围内的数据,随后再进行insert插入操作

      • 插入更新方式:插入更新数据环节,根据设置的“去重主键”将源表和目标表的数据进行比对,对于目标表中存在的数据进行更新操作,目标表中不存在的数据进行插入操作。


0 人点赞过