跳到主要内容

数据库输出(高级版)

1. 概述

1.1. 功能说明

输出数据集是 数据流 处理后的结果数据,可直接将处理好的数据下推到数据库中。

在 ETL 数据流任意节点可以配置多个数据库输出算子,并指定不同的存储位置。

1.2. 前提条件

数据流 中至少需要 1 个 「输入数据集」或者「数据库输入」 ,才能配置「数据库输出」。

2.操作步骤

  1. 将 数据流 算子区的 数据库输出 算子拖入右侧画布编辑区,并使用连接线进行连接。

  2. 点击 数据库输出 算子,选择更新方式。

    |350

更新方式解释
直接追加保留目标表已有数据并进行写入
全量更新清空目标表历史数据后进行写入
插入更新比对字段如在目标表内匹配成功,将 执行更新数据,否则直接追加数据
  1. 选择数据库类型、数据账户、目标表名(表名不存在则自动创建)。

    |350

  2. 对目标表进行字段映射。

    |550

  3. 用户选择插入更新,需确认比对字段。

    |350

  4. 如需对目标表进行前置清理,在前置SQL中输入脚本,支持时间宏参数、全局参数和工作流参数,工作流参数创建方式详见工作流参数

    使用示例:

3.高性能模式

以下数据库支持高性能模式,提高数据同步性能:

数据库类型备注
StarRocks直接追加和全量更新支持使用高性能模型,切换高性能模式时,注意以下事项:

1. 需要为StarRocks数据账户配置HTTP端口,否则任务运行报错

2. 当同步数据长度超出目标表字段类型长度,会自动置null,建议提前规划字段长度并建表
文档AI助手
观远AI助手关闭