跳到主要内容

数据质量节点

概述

数据质量节点用于在数据进入报表和业务分析之前,对数据集或数据库表进行自动校验。您可以创建可复用的数据质量模型,设置过滤范围和校验规则,在离线开发任务中引用模型并触发校验,还可以在运行实例中查看异常详情和接收告警。

添加数据质量节点

  1. 进入离线开发任务编辑页,选择数据质量节点。

  2. 填写节点名称和可选的节点描述。

  3. 搜索并单选一个可引用的数据质量模型。

  4. 系统自动带出监控对象和模型默认过滤条件。

  5. 单击「编辑规则」,为当前节点调整过滤条件。过滤条件中可以使用任务参数、全局参数、动态参数和时间宏。离线开发任务运行时,系统按照节点中配置的过滤条件过滤数据;数据质量模型独立调度运行时,仍按照模型自身的过滤条件过滤数据。

  6. 配置数据质量节点是否阻塞离线开发任务。

    当数据质量模型中的强规则不通过时,数据质量节点运行失败并触发质量告警。如果数据质量节点与下游节点的调度关系为「成功调度」,系统会阻塞下游节点运行,导致任务中断。

    当弱规则不通过时,数据质量节点运行成功,不阻塞下游任务,但仍会触发质量告警。

  7. 选择「保存为草稿」或「发布」。

    同一数据质量节点一次只能引用一个模型。更换模型时,原引用会被覆盖,过滤条件会重置为新模型的默认值。

    保存与发布规则:

    • 保存草稿不要求节点配置完整。
    • 发布时必须填写节点名称并选择数据质量模型。

    如果没有可引用的模型,可单击「数据质量模型」在新页签中创建,返回后刷新模型选项。

数据质量节点运行选项

切换至 运行选项 页签,可配置:

  • 运行标志:设置节点正常运行或禁止执行。
  • 失败重试:设置失败后的重试次数和重试间隔。
  • 超时限制:设置节点允许执行的最长时间。超过限制后,节点按超时处理。

查看运行日志

任务运行后,可进入工作流实例查看数据质量节点状态和日志:

打开节点配置并点击质量模型,系统会跳转到该质量模型本次运行的结果页面。