5.2.1 数据流定义
创建于 2022-10-21 / 最近更新于 2022-11-07 / 2848
字体:
[默认]
[大]
[更大]
数据流
数据流的概念类似BI平台中的智能ETL,负责进行数据转换;
可以通过图形化的拖拽配置方式开发数据流,同时支持在画布中添加注释;
开发数据流时,可以使用数据集中的数据作为输入数据集进行编辑预览。
DB数据流
数据流定义新增对DB数据流的支持,支持将数据流的图形化数据处理能力下推到数据库层面(数据库类型目前仅支持PostgreSQL)。
入口:任务调度-数据流定义列表页-创建DB数据流
DB数据流支持两种类型的输入输出算子:从数据库输入、输出至数据库,两者必须选择相同的数据连接。
DB数据流支持独立运行/工作流引用调度,运行记录支持集中查看。
工作流中可以通过DATAFLOW节点对DB数据流进行调度,DB数据流中的“从数据库输入”/“输出至数据库”算子在工作流引用时无感知,将作为数据流中的内部算子运行。
1 人点赞过