数据流节点
概述
进入离线开发任务编辑页面后,可在左侧将「数据流」节点拖入画布。点击节点,在数据流处点击编辑,进入算子编辑页面。

数据流算子血缘分析:每个ETL算子上点击血缘icon,选择分析的字段,即可追溯这个字段的上游算子。


gluten引擎:8.3及以上版本,数据流运行时默认走spark升级版——gluten引擎,高性能运行数据流。
具体说明
数据流节点包括以下具体算子,请按需参阅具体文档。
数据集算子
| 算子 | 说明文档 |
|---|---|
| 输入数据集 | 输入数据集 |
| 输出数据集 | 输出数据集 |
| 数据库输入(高级版) | 数据库输入(高级版) |
| 数据库输出(高级版) | 数据库输出(高级版) |
列编辑算子
| 算子 | 说明文档 |
|---|---|
| 添加计算列 | 添加计算列 |
| 合并列 | 合并列 |
| 分组聚合 | 分组聚合 |
| 选择列 | 选择列 |
| 行转列 | 行转列 |
| 列转行 | 列转行 |
数据编辑算子
| 算子 | 说明文档 |
|---|---|
| 筛选数据行 | 筛选数据行 |
| 去重 | 去重 |
| 值替换 | 值替换 |
| Null 值替换 | Null值替换 |
数据集组合
| 算子 | 说明文档 |
|---|---|
| 行拼接 | 行拼接 |
| 关联数据 | 关联数据 |
高级计算
SQL 算子:SQL输入