跳到主要内容
版本:6.5.0

资源血缘

1. 资源血缘概述

资源血缘是数据生命周期的一种,包括数据的起源以及到当前位置的完整路径描述,帮助用户更方便的数据管理。

用户透过数据血缘,可以方便的看到每一个数据应用、分析看板、ETL、数据集等之间的关联,数据分析的流程走向尽在掌握,从而实现快速等工作,了解资源上下游依赖情况、资源删改风险评估等,在排查问题时,也可快速定位问题所在,如向上追溯引入指标计算问题的关键节点,向下评估指标变更导致的口径计算影响面等。

用户可通过各资源的「资源血缘」入口,了解当前资源的全局资源血缘情况;也可以更细粒度的查看“字段血缘”,一图了解字段变更影响面。

  • 向前看:“我”是谁加工出来的,通过「血缘分析」实现关键信息的追踪和记录;

  • 向后看:“我” 支持了谁的加工,通过「影响分析」了解分析对象的下游数据信息,快速掌握元数据变更可能造成的影响并评估风险。

2. 资源血缘使用说明

2.1 资源血缘

查看资源血缘

  1. 首先,请进入数据中心-数据账户界面,在右侧的操作栏中,点击如下图所示的“查看资源血缘”按钮,可以进入资源血缘的详情页,查看数据账户内的资源之间的关系。

1.png

  1. 资源类型包含:数据账户、数据集、ETL、仪表板、大屏、应用等。除此之外,在资源血缘页面中,还可以勾选“血缘分析”、“影响分析”,从而查看完整的血缘信息。

2.png

  1. 在血缘画布中,默认展开上下两层级节点,点击展开节点可以继续追溯血缘。

3.png

  1. 资源血缘画布中,如果资源血缘链路复杂,可以使用画布辅助定位。

4.png

  1. 数据库类型的数据集向前追溯,可以找到该数据集关联数据库哪些数据表。

5.png

查看信息与节点切换

从对应资源进入资源血缘查看界面,可查看数据集/ETL节点更新时间、状态透出,可进行节点切换功能。

注意:目前观远数据的节点切换功能仅管理员可见,后续该功能的权限范围会做进一步优化。

首先,点击某一个具体的节点,则该节点会呈现蓝色标注状态。

其次,鼠标悬停在某一个节点上,则会出现切换视角的按钮,点击后可进入该节点的资源血缘。

再次,ETL或数据集节点可见最近一次的更新时间和状态。

最后,针对资源节点,可以进行批量操作。

6.png

批量操作

批量操作,主要包含批量删除、应用解绑。具体操作为:点击批量操作,可看到节点的勾选框,先给节点进行解绑后,可批量勾选多个节点,然后点击“批量删除”。

注意:目前观远数据的批量删除功能仅管理员可见,后续该功能的权限范围会做进一步优化。

7.png

如果节点仍然存在下游的依赖关系,那么不可删除,可以在“删除失败提示”中,看到有哪些下游血缘。

8.png

点击“显示下游血缘”,则可以看到具体关联的资源内容,评估重要性后,如果确认要删除,那么可以点击右下角的“删除血缘树”,从而可进行删除。

9.png

如果删除成功,那么该节点会呈现虚化和虚线效果,刷新后则会消失。删除操作不可逆,请谨慎操作。

10.png

2.2字段血缘

功能说明

过去,数据消费者在看板上发现某个指标数据和历史经验判断不一致、怀疑有数据问题时,数据开发人员不得不在仪表板上找到存在数据问题的卡片,追溯其依赖的数据集,再从数据集的血缘上逐一Check问题数据集上游的ETL和数据来源,判断哪一步引入问题。如果非BI平台引入的数据处理问题,还需要追溯到上游的数据库表,整个过程繁琐低效。

针对此项问题,观远BI推出「字段血缘」功能,用户可以基于数据血缘,找到某一指标关联的上下游数据集、ETL和卡片,向上追溯引入指标计算问题的关键节点,向下评估指标变更导致的口径计算影响面。这将提高数据开发人员排查数据问题的效率。

前提准备

字段血缘功能受system-backend开关控制,如需使用请在管理员后台开启。

11.png

查看字段血缘

  1. 在排查问题过程中,如果想看某个字段的血缘关系,可以切换至字段血缘tab。

12.png

  1. 在左侧字段列表勾选需要进行分析的字段,右侧画布区即可展示相应的血缘-影响分析结果。

13.png

  1. 切换至资源列表tab,可查看当前勾选字段涉及的所有资源。

14.png

注意事项

  1. 目前仅支持数据集查看字段血缘。

  2. ETL输出数据集的字段血缘,是在ETL每次运行后进行更新。因此,在开启开关后或其他场景中发现ETL输出数据集字段血缘不存在/有误,建议重新执行ETL后再检查字段血缘是否正确。