跳到主要内容

数据库输入

概述

数据库输入是数据流中的重要前置算子(流程起点),它为 ETL 流程的第一阶段(抽取)提供数据基础,为后续 ETL 的数据处理做准备。

支持多源异构数据的快速融合(多路输入),使得用户能够轻松整合来自不同数据源和不同结构的数据。

操作步骤

  1. 将数据流算子区的 输入数据集 算子拖入右侧画布编辑区。

  2. 点击数据库输入算子,选择数据类型和数据账户。

    |350

  3. 编辑 sql 取数,sql 脚本可引用时间宏参数、全局参数和工作流参数,工作流参数创建方式详见 工作流参数


    使用示例:

  4. 按需为输入数据集配置预览规则以及缓存数据行数。

    |350

高性能模式

以下数据库支持高性能模式,提高数据抽取性能:

数据库类型备注
StarRocks需要提前部署第三方组建,未部署高性能开关无法打开高性能模式不支持以下字段类型:LARGINT、MAP、JSON

Doris需要提前部署第三方组建,未部署高性能开关无法打开
SelectDB需要提前部署第三方组建,未部署高性能开关无法打开
GaussDB需要提前部署第三方组建,未部署高性能开关无法打开