Universe 帮助中心

7.2 实时流配置

创建于 2022-10-21 / 最近更新于 2022-11-04 / 2126
字体: [默认] [大] [更大]

“实时数据”模块支持对“实时流”进行便捷的可视化配置,最终实现以单表同步方式将源端数据库中的增量数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。

入口:实时数据-创建实时流

实时流支持配置输入&输出算子,目前支持:MySQL Binlog、输出至数据库(数据库类型目前仅支持PostgreSQL)。

在进行实时流配置前,需要确保相应的外部数据库已经开启相应权限。

  • MySQL Binlog:支持配置数据连接、源表、Binlog位点

    • 数据连接:仅支持MySQL类型,选择完毕后可展示相应数据库的IP主机名、端口、数据库名;

    • 源表:支持搜索选择需要进行实时数据同步的源表,后续会以单表同步的方式将源表中的增量数据变化实时同步至目标表中;

    • Binlog位点:此处可以填入 7.1 全量数据初始化 中获取的Binlog位点,该实时流将从Binlog位点开始将源表的增量数据变化同步至目标表。

  • 输出至数据库:支持配置数据连接、目标表、去重主键

    • 数据连接:仅支持PostgreSQL类型,选择完毕后可展示相应数据库的IP主机名、端口、数据库名;

    • 目标表:支持搜索选择需要进行实时数据同步的目标表,后续会以单表同步的方式将源表中的增量数据变化实时同步至目标表中;

    • 去重主键:支持搜索选择目标表中的字段,针对该字段,如果源表数据与目标表中匹配成功将执行更新数据, 否则将执行插入数据。

源表与目标表需要具有相同的主键约束,并将主键字段配置到实时流“输出到数据库”算子。

实时流配置完毕后,可进行“仅保存”/“保存并运行”操作。


1 人点赞过