Universe 帮助中心

5.2.1 数据流定义

创建于 2022-10-21 / 最近更新于 2022-11-07 / 1686
字体: [默认] [大] [更大]

数据流

  • 数据流的概念类似BI平台中的智能ETL,负责进行数据转换;

  • 可以通过图形化的拖拽配置方式开发数据流,同时支持在画布中添加注释;

  • 开发数据流时,可以使用数据集中的数据作为输入数据集进行编辑预览。

DB数据流

数据流定义新增对DB数据流的支持,支持将数据流的图形化数据处理能力下推到数据库层面(数据库类型目前仅支持PostgreSQL)。

入口:任务调度-数据流定义列表页-创建DB数据流

DB数据流支持两种类型的输入输出算子:从数据库输入、输出至数据库,两者必须选择相同的数据连接。

DB数据流支持独立运行/工作流引用调度,运行记录支持集中查看。

工作流中可以通过DATAFLOW节点对DB数据流进行调度,DB数据流中的“从数据库输入”/“输出至数据库”算子在工作流引用时无感知,将作为数据流中的内部算子运行。


1 人点赞过