更新日志
2025.09
功能更新说明
| 功能名称 | 功能概述 | 相关文档 |
|---|---|---|
| 数据流StarRocks抽取支持高性能 | 数据流中，数据库输入账户类型为StarRocks时，支持使用高性能抽数模式，提高任务运行效率 | 数据库输入 |
| 批量补数 | 支持对指定的离线计算任务，进行一次性的、批量化的历史时间段调度与执行 | 批量补数功能 |
| 数据流支持计算逻辑下推至数据库 | 运行ETL算子时一般使用spark算力，开启直连下推后，ETL运算逻辑自动下推到数据库，运行/预览时使用数仓算力。 | 支持计算逻辑下推至直连数据库 |
| 支持对接FTP/SFTP EXCEL文件 | 数据流文件输入节点支持对接EXCEL类型文件并进行后续处理 | 文件输入 |
| 实时同步 | 支持将源端数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据一致。 | 实时同步 |
产品行为变更说明
1. 数据流StarRocks抽取支持高性能
升级前：StarRocks抽取耗时较长，性能有待提升。
升级后：在数据库输入节点开启高性能模式，提高抽数效率，预计会减少一半以上时间。
2. 批量补数功能
升级前：通过多次手动运行任务的方式进行完成多天补数场景。
升级后：通过批量补数能力一次性输入多组参数值，生成多个补数实例完成多天/多月补数。
3. 数据流支持计算逻辑下推至数据库
升级前：直连数据库场景运行时先把数据抽到数开平台，使用spark算力进行运算。
升级后：直连数据库场景会把部分计算逻辑下推到数据，使用数据库算力进行运算。
4. 支持对接FTP/SFTP EXCEL文件
升级前：数据流的文件输入不支持对接EXCEL文件。
升级后：数据流的文件输入支持对接EXCEL文件。
5. 实时同步
升级前：高频数据同步场景通过离线开发准实时调度来实现。
升级后：通过实时同步功能实现业务数据的实时同步。