跳到主要内容

实时同步任务运维

概述

实时同步任务创建完成后,需要对任务进行管理和运维。

管理实时同步任务

实时同步任务列表

用户可编辑修改、重命名、删除实时同步任务,查看任务配置详情、任务运行状态,最近运行时间、最近修改时间以及同步任务运行中的或者历史的实例。

实时同步任务状态

状态说明
未运行当任务创建完成时,任务处于未运行状态
运行中点击运行,任务处于运行中状态
暂停运行中的任务可以暂停或者停止,暂停中的任务会记录暂停的时间点,再次运行时会在暂停时间向前偏移 30 分钟处开始同步数据(注意任务日志的保存时间,若暂停时间超过保存时间,会由于找不到日志导致丢数)
停止任务停止后支持修改,之后按照修改后的配置重新运行任务。

配置告警

进入任务详情,为实时同步任务配置告警

预警类型支持以下几种异常:

  • 任务失败:当 Flink 同步任务出现异常多次重试后依然没有成功会将任务状态变更为失败,此时若配置任务失败告警,则会发出通知
  • 任务异常:当由于网络波动、数据激增等情况导致任务出现异常,过一段时间稳定后,任务恢复正常,用户希望在异常期间也能及时收到通知并人工介入,需要开启任务异常通知,当任务出现异常时,立刻发出通知。
  • 核数异常:启用核数功能,并且检查到来源目标数据对不上后会发送告警
  • 数据延迟:当实时同步存在延迟并且超过30分钟时,发送告警,延迟指标有一定波动性,连续收到两次以上的延迟告警时,需要及时关注。

通知渠道:支持钉钉、飞书、企微、邮件和自定义渠道

收件人:选择接收任务告警的对象

通知标题和正文:填写通知标题和正文

任务监控

进入实时同步任务详情,可以监控实时同步任务的运行指标。

分类 指标名称 说明
数据延迟类 端到端同步延迟 一条数据从源端产生,到目标端可见,中间经历了多长时间
源库读取延迟 读取源库的耗时
目标端写入延迟 引擎内部处理或写入目标库的耗时
同步速率 读取速率 判断有没有在同步、速度是否正常
写入速率 判断有没有在同步、速度是否正常
引擎耗时 繁忙时间 算子繁忙度,判断 Task 是否 CPU/处理瓶颈
空闲时间 判断作业是正常没数据还是卡住
反压时间 判断 sink 或下游是否拖慢同步
表级指标 来源表名 -
目标表名 -
来源表数据量 来源表count后的数据量,用于间接判断实时同步任务运行的健康度
目标表数据量 目标表count后的数据量,用于间接判断实时同步任务运行的健康度
刷新 点击刷新,重新统计来源表/目标表数据量,避免高频刷新影响数据库性能,数据量统计存在 10 分钟缓存,短时间内重复刷新不会更新结果

数据核对

进入实时同步任务详情,可以看到任务中配置的所有表信息,支持定时核数、手动核数两种方式。

定时核数

定时核数一般用于在增量阶段,每隔一小时对前增量数据进行核对,考虑到同步可能存在延迟,避免延迟产生的误报,每次检查前2个小时的增量数据,例如:9:00核对update_time>=6:00 and update_time<7:00区间的数据。

点击定时核数,进入配置界面。

  1. 选择源表变更时间字段,支持选择日期型字段,建议选择记录数据变更时间的字段,比如update_time,系统将基于此字段圈定时间窗口进行两端数据比对。
  2. 选择核数字段,选择有核数意义和价值的字段,对于不同字段类型,系统会选择不同的聚合方式进行核对,比如long类型,通过求和验证两端数据是否一致,如果勾选的所有字段聚合结果一致,即判断数据核对一致;如果存在聚合结果不一致,那么会进一步根据主键核对明细数据,定位到具体问题数据
  3. 全量更新后核对全量数据选项,对于先全量后增量的同步任务生效,勾选后,当任务全量更新结束后会进行一次核对。

手动核数

可以指定核数的时间窗口,进行手动核数,进入手动核数配置页。

  1. 选择源表变更时间字段,支持选择日期型字段,建议选择记录数据变更时间的字段,比如update_time,系统将基于此字段圈定时间窗口进行两端数据比对。
  2. 配置核数窗口,圈定源表变更时间字段的数据范围,不填即核对全量数据
  3. 选择核数字段,选择有核数意义和价值的字段,对于不同字段类型,系统会选择不同的聚合方式进行核对,比如long类型,通过求和验证两端数据是否一致,如果勾选的所有字段聚合结果一致,即判断数据核对一致;如果存在聚合结果不一致,那么会进一步根据主键核对明细数据,定位到具体问题数据。

核对结果

每张表展示近10次的核对结果,包括核对的来源表数据量、目标表数据量、运行状态、核对结果,核对不一致时,根据主键进一步追溯是目标表缺失(来源表有,但目标表没有)、目标表冗余(来源表没有,但目标表有)、数据不一致(同一条主键数据,来源表和目标表都有,但数据对不上)。

点击查看核数详情:

  • 数据一致

  • 数据存在不一致

实时同步任务监控

任务监控进入实时同步查看实时同步任务日志。

  • 运行日志:查看任务运行过程中的日志

  • 异常日志:当收到异常通知时在异常日志通过时间定位到异常信息

  • 作业信息:记录提交flink任务的基础信息,方便进一步在flink排查问题