观远 BI
登录
  • 观远社区

    • 资源血缘

    创建于 2022-12-09 / 最近更新于 2024-11-21 / 4765
    字体： [默认] [大] [更大]

    1. 概述

    资源血缘是数据生命周期的一个重要概念，包括数据的起源以及到当前位置的完整路径描述，帮助用户更方便的数据管理。具体是指针对资源主体进行的血缘分析和影响分析，BI中典型的资源有数据集、仪表板页面、应用、卡片等等。字段血缘是指针对资源中的具体字段进行的血缘分析和影响分析，分析数据字段在不同数据资源之间的流转路径。

    用户可通过各资源的“资源血缘”入口，了解当前资源的全局资源血缘情况；也可以更细粒度的查看“字段血缘”，一图了解字段变更影响面。

    • 向前看：“我”是谁加工出来的，通过「血缘分析」实现关键信息的追踪和记录；

    • 向后看：“我” 支持了谁的加工，通过「影响分析」了解分析对象的下游数据信息，快速掌握元数据变更可能造成的影响并评估风险。

    2. 使用指导

    用户透过“资源血缘”，可以方便的看到每一个数据应用、分析看板、ETL、数据集等之间的关联，数据分析的流程走向尽在掌握，从而实现快速了解资源上下游依赖情况、资源删改风险评估等，在排查问题时，也可快速定位问题所在，如向上追溯引入指标计算问题的关键节点，向下评估指标变更导致的口径计算影响面等。

    查看资源血缘有如下入口：数据账户列表、数据集列表/详情、可视化分析卡片、页面、应用 、大屏、ETL列表/详情

    分析某个数据集的资源血缘

    1. 进入数据中心-数据集界面，在右侧的操作栏中，点击如下图所示的“查看资源血缘”按钮，可以进入资源血缘的详情页，查看资源之间的关系。image.png

    2. 资源类型包含：数据账户、数据集、ETL、仪表板、大屏、应用等。除此之外，在资源血缘页面中，还可以勾选“血缘分析”、“影响分析”，从而查看完整的血缘信息。

    2.png

    1. 在血缘画布中，默认展开上下两层级节点，点击展开节点可以继续追溯血缘。

    3.png

    1. 资源血缘画布中，如果资源血缘链路复杂，可以使用画布辅助定位。

    4.png

    1. 数据库类型的数据集向前追溯，可以找到该数据集关联数据库哪些数据表。

    5.png

    分析某个卡片的资源血缘

    1. 进入数据分析界面，针对某卡片点击如下图所示的“查看资源血缘”按钮，可以进入资源血缘的详情页。

    6.png

    1. 进入资源血缘页面后，支持以卡片和仪表盘作为分析对象，展示上下游血缘

    7.png

    观远BI支持用户在资源血缘界面查看任意资源节点的信息，并切换分析的节点。

    1. 点击某一个节点，该节点边框会呈高亮显示，页面右侧将显示该节点的详细信息，支持查看该节点的创建时间、位置路径、状态等信息。还可点击窗口下方的查看按钮，一键跳转至该节点的资源详情页。

    8.png

    1. 其中，ETL或数据集节点可见最近一次的更新时间和状态。

    9.png

    1. 观远BI支持用户进行“分析对象切换”操作，即点击任意节点的“…”按钮，在下拉菜单中选择“切换分析对象”，点击后即以当前节点资源作为分析对象，查看其上下游的资源血缘链路图。

    注意：目前观远数据的节点切换功能仅管理员可见，后续该功能的权限范围会做进一步优化。

    10.png

    针对资源节点，可以进行批量操作，主要包含批量删除、应用解绑。

    • 批量删除

    注意：目前观远数据的批量删除功能仅管理员可见，后续该功能的权限范围会做进一步优化。

    1. 点击“批量操作”，看到节点的勾选框，可批量勾选多个资源节点。

    11.png

    1. 点击“批量删除”，即可删除选中的所有资源节点(删除后仪表板将放入回收站，其他资源均不可恢复)。

    12.png

    1. 若节点仍然存在下游的依赖关系，那么不可删除，可以在“删除失败提示”弹窗中，看到删除失败的节点。

    13.png

    1. 点击“显示下游血缘”，可以看到具体关联的下游资源内容，评估重要性后，如果确认要删除，点击右下角的“删除血缘树”，即可一键删除待操作区所有可删除的资源节点。

    14.png

    1. 如果删除成功，那么该节点会呈现虚化和虚线效果，刷新后则会消失。删除操作不可逆，请谨慎操作。

    15.png

    • 应用解绑

    若用户需要删除部分仪表板，但希望保留与之相关的应用，需要先给仪表板节点进行解绑。

    点击仪表板资源节点的“…”按钮，在下拉菜单中选择“解绑所有相关应用”，点击后将解绑该仪表板的所有相关应用。

    16.png

    解绑后，仪表板不会出现在应用中（若需要恢复可在应用详情中重新添加），即仪表板的下游资源血缘树中不再包含应用，用户可在后续的删除操作中仅删除仪表板。

    17.png

    过去，数据消费者在看板上发现某个指标数据和历史经验判断不一致、怀疑有数据问题时，数据开发人员不得不在仪表板上找到存在数据问题的卡片，追溯其依赖的数据集，再从数据集的血缘上逐一Check问题数据集上游的ETL和数据来源，判断哪一步引入问题。如果非BI平台引入的数据处理问题，还需要追溯到上游的数据库表，整个过程繁琐低效。

    针对此项问题，观远BI推出「字段血缘」功能，用户可以基于数据血缘，找到某一指标关联的上下游数据集、ETL和卡片，向上追溯引入指标计算问题的关键节点，向下评估指标变更导致的口径计算影响面。这将提高数据开发人员排查数据问题的效率。

    1. 字段血缘功能受system-backend开关控制，如需使用请在管理员后台开启。

    18.png

    2. 若上下游关系中涉及ETL节点，ETL需要至少运行一次，才能生成字段血缘信息。

    1. 在排查问题过程中，如果想看某个字段的血缘关系，可以切换至字段血缘tab。

    注意：仅支持数据集与卡片查看字段血缘。

    image.png

    1. 在左侧字段列表勾选需要进行分析的字段，右侧画布区即可展示相应的血缘-影响分析结果。

    20.png

    1. 切换至资源列表tab，可查看当前勾选字段涉及的所有资源。

    21.png

    1. 进入某个智能ETL的编辑页面，点击ETL的某个算子节点，可以进行节点的字段血缘分析，选择字段后会在画布中高亮展示当前字段从始至终的血缘链路；血缘链路中的节点上可以显示相关血缘字段的名称。

    22.png

    注意：
    1. 目前仅支持数据集及卡片查看字段血缘；
    2. ETL输出数据集的字段血缘，是在ETL每次运行后进行更新。因此，在开启开关后或其他场景中发现ETL输出数据集字段血缘不存在/有误，建议重新执行ETL后再检查字段血缘是否正确。

    2.3. 导出模型文档

    观远支持基于平台数据血缘，自动导出数据集和字段级的基础版本文档。资源血缘画布右上角新增「导出资源血缘」入口；字段血缘画布新增「导出模型文档」入口。

    对于资源血缘，在导出时以ETL输出数据集为主体，遍历画布中所有的ETL输出数据集，找到该输出数据集对应的ETL及其输入数据集，逐条列出对应的输入。

    对字段血缘，在导出时以当前分析对象为主体，遍历该分析对象的上游和下游的所有字段（以当前分析对象为主体往上及往下找一层），找到这些字段对应的源字段及源输入信息，逐个字段、逐条列出对应的输入。

    23.png

    2.4. 审计日志支持血缘访问记录

    审计日志中支持数据血缘模块【资源血缘】、【字段血缘】的用户访问记录，主要记录访问时间、访问用户等信息。

    24.png




    8 人点赞过