数据流支持Spark JDBC下推
概述
数据流ETL算子运行时一般使用Spark算力,当输入节点为数据库输入并开启Spark JDBC下推后,ETL部分运算逻辑自动下推到数据库运行。
操作步骤
进入数据流,开启Spark JDBC下推,计算节点、筛选数据、选择列、分组聚合等算子逻辑会下推至数据库,以往根据数据库输入SQL查询获取的数据量会大量减少,因为筛选数据、分组聚合等逻辑下推到数据库,获取的是过滤或者聚合后的数据。

注意事项
Spark JDBC下推目前仅支持PostgreSQL驱动的数据库。