跳到主要内容

实时同步任务运维

1. 概述

实时同步任务创建完成后,需要对任务进行管理和运维。

2. 管理实时同步任务

2.1. 实时同步任务列表

用户可编辑修改、重命名、删除实时同步任务,查看任务配置详情、任务运行状态,最近运行时间、最近修改时间以及同步任务运行中的或者历史的实例。

2.2. 实时同步任务状态

状态说明
未运行当任务创建完成时,任务处于未运行状态
运行中点击运行,任务处于运行中状态
暂停运行中的任务可以暂停或者停止,暂停中的任务会记录暂停的时间点,再次运行时会在暂停时间向前偏移30分钟处开始同步数据(注意任务日志的保存时间,若暂停时间超过保存时间,会由于找不到日志导致丢数)
停止任务停止后支持修改,之后按照修改后的配置重新运行任务。

2.3. 配置告警

进入任务详情,为实时同步任务配置告警

预警类型支持两种,任务失败和任务异常;

  • 任务失败:当Flink同步任务出现异常多次重试后依然没有成功会将任务状态变更为失败,此时若配置任务失败告警,则会发出通知
  • 任务异常:当由于网络波动、数据激增等情况导致任务出现异常,过一段时间稳定后,任务恢复正常,用户希望在异常期间也能及时收到通知并人工介入,需要开启任务异常通知,当任务出现异常时,立刻发出通知。

通知渠道:支持钉钉、飞书、企微、邮件和自定义渠道

收件人:选择接收任务告警的对象

通知标题和正文:填写通知标题和正文

3. 实时同步任务运维

任务监控进入实时同步查看实时同步任务日志。

运行日志:查看任务运行过程中的日志

异常日志:当收到异常通知时在异常日志通过时间定位到异常信息

作业信息:记录提交flink任务的基础信息,方便进一步在flink排查问题