数据同步节点
概述
数据同步节点用于在离线开发任务中，将来源数据库表的数据同步至目标数据库表。用户可以配置来源和目标库表、数据过滤条件、字段映射、更新方式及运行参数。
前提条件
使用数据同步节点前，请确保已完成来源端和目标端的数据连接配置，并具备相应数据账户的使用权限。普通用户仅能选择自己有使用权限的数据账户。
节点配置
添加数据同步节点
-
进入「数据开发 > 离线开发」，新建或编辑离线开发任务。
-
将左侧节点列表中的「数据同步」节点拖入画布，并选中该节点。
-
点击「数据同步」右侧的「请配置」，进入同步配置页面。
选择库表
在「库表选择」中依次配置来源库表、目标库表和更新方式。
1. 配置来源库表
| 配置项 | 说明 |
|---|---|
| 来源账户类型 | 选择来源数据库的账户类型。 |
| 来源数据账户 | 选择来源数据账户。普通用户仅能选择自己有使用权限的数据账户。 |
| 来源表 | 选择需要同步的数据表。 |
| 过滤条件 | 选填，未配置时默认同步全量数据。 如需过滤来源数据，点击「过滤条件」右侧「编辑规则」，输入过滤条件。过滤条件支持插入全局参数、任务参数、动态参数和时间宏。 如需检查过滤结果，点击「预览」。系统将根据当前来源库表和过滤条件展示前 30 条数据。  |
2. 配置目标库表
| 配置项 | 说明 |
|---|---|
| 目标账户类型 | 选择目标数据库的账户类型。 |
| 目标数据账户 | 选择目标数据账户。普通用户仅能选择自己有使用权限的数据账户。 |
| 目标表 | 选择用于接收同步数据的已有表。 如需创建目标表，点击「目标表」右侧的「新建表」，在「执行建表」页面输入表名，点击「生成 SQL」生成建表语句。确认或调整建表 SQL 后，点击「执行建表」。建表成功后，将新建的数据表作为本次同步的目标表。  |
3. 选择更新方式
根据实际同步需求选择数据写入目标表的方式。
- 直接追加：保留目标表中的已有数据，并写入本次同步数据。
- 全量更新：清空目标表中的历史数据，再写入本次同步数据。
- 插入更新：将来源表与目标表的对比字段进行匹配。匹配成功时更新目标表中的对应数据，未匹配时将数据追加至目标表。选择该方式后，还需在「对比字段」中至少选择一个字段。
4. 进入字段映射
点击「下一步」，进入「字段映射」。
配置字段映射
系统根据来源表的字段结构生成映射列表，并优先映射来源表与目标表中的同名字段。
- 检查系统生成的字段映射关系。每行展示来源字段、来源字段类型、目标字段、目标表字段类型和映射状态。
- 如需重新按字段名称匹配，点击「同名映射」。
- 对于未自动映射的字段，在对应行手动选择目标字段。不需要同步的来源字段可以保持未映射状态。
- 确保至少存在一条字段映射关系，然后点击「下一步」，进入「高级配置」。
配置高级参数
在「高级配置」中设置并发取数及数据读取、写入时使用的自定义参数。
| 配置项 | 配置条件 | 说明 |
|---|---|---|
| 并发取数 | 按需开启 | 设置是否并发读取来源数据。开启后，需要继续配置「并发数」和「切分方式」。 |
| 并发数 | 开启「并发取数」后必填 | 设置同时读取数据的并发数。 |
| 切分方式 | 开启「并发取数」后必选 | 「自动切分」默认按来源表的主键或 Unique Key 切分数据；「自定义切分」需要手动选择切分字段。 |
| 切分字段 | 仅选择「自定义切分」后需要配置 | 从来源表中选择用于切分数据的字段。选择「自动切分」时无需配置。 |
| 自定义参数-数据来源 | 选填，不受切分方式影响 | 如需为数据读取添加自定义参数，点击「添加参数」进行配置；无需使用时可不配置。 |
| 自定义参数-数据去向 | 选填，不受切分方式影响 | 如需为数据写入添加自定义参数，点击「添加参数」进行配置；无需使用时可不配置。 |
完成配置
完成高级参数设置后，点击「完成配置」。系统校验配置内容并保存数据同步节点。
运行选项
- 运行标志
- 禁止执行：工作流运行至该节点后将直接跳过执行，常用于临时数据问题排查、部分任务运行控制等场景。
- 正常：按照既有调度策略运行该节点，节点默认运行标志。
- 失败重试
- 重试次数：节点失败后的自动重试次数，默认 1 次
- 重试间隔时间：触发重试的时间间隔，默认 5 分钟
- 超时限制
- 超时时间：单个节点的超时时间限制，超过后会自动失败
查看运行日志
任务运行后，进入工作流实例并选中数据同步节点，在页面下方的「运行日志」中查看本次运行情况。
