跳到主要内容

配置实时同步任务

1. 概述

完成数据账户、数据库环境、实时同步环境准备配置后,可创建实时同步任务,将多种类型的数据源输入输出进行配置,完成实时同步任务的创建。

2. 准备工作

创建任务前,需部署实时同步环境,配置数据账户,完成数据库环境准备。

3. 创建实时同步任务

3.1. 提前配置连接参数模版

为确保实时同步任务正常运行,需要为目标数据库配置额外参数,通过连接参数模版进行配置。

  1. 填写模版名称

  2. 选择数据库类型,目前支持StarRocks和GuassDB数据库

  3. 配置参数模版

  4. 当数据库类型为StarRocks时,一般情况下包含并发数、FE节点的IP和端口号、副本数,填写方式参考:

{"parallelism":2,"loadUrl":"172.20.0.77:8030","replicationNum":1}
  1. 当数据库类型为GuassDB时,暂无参数,填写{}即可;

  2. 填写模版描述

3.2. 选择数据来源

进入实时同步功能模块,创建实时同步任务

选择来源表的数据账户(需提前创建好数据账户)和表名

3.3. 选择目标表

3.3.1. 同步方式

3.3.1.1. 存量+增量同步

先对所有存量数据同步,然后持续同步新增变化。任务初次运行时,将完整运行全量同步+增量同步。

3.3.1.2. 仅增量同步

任务仅包含增量阶段,任务初次运行时,将按照用户开始运行的起始时间开始进行增量同步。

3.3.2. 配置表以及字段映射

  1. 设置目标数据存放的位置;
  2. 配置目标字段和来源数据字段的映射关系;
  3. 配置时间标记字段,当目标表字段类型为datetime类型时,支持将此字段设置为时间标记字段,这次字段中以毫秒级时间戳的形式记录数据在数据库中实际新增和更新的时间。
  4. 选择连接参数模版

3.4. 任务信息配置

填写任务名称、任务描述,点击确认新建,任务创建成功。