Universe 帮助中心
登录
  • 观远社区

    • 2021年11月重要功能更新

    创建于 2022-10-28 / 最近更新于 2022-11-07 / 1604
    字体： [默认] [大] [更大]

    以下功能在2.2.0及之后的版本中均可使用

    实时数据功能增强

    • 应用场景

    一、数据集成场景下，从业务源端到分析系统的数据同步作业参数设置共性很强，针对相同源多张表的批量配置功能对于实际开发过程提效帮助很大。

    二、在数仓构建过程中，一方面数仓作业的增量数据筛选依赖于ODS层数据的更新插入时间，另外一方面业务部门对于数据的来源系统标记也有需求。审计字段功能使得开发者可以在数据生命周期最开始的环节根据业务及开发需求添加必要字段。

    • 功能介绍

    对原有实时数据的功能进行了增强，主要是批量任务的配置和审计字段两大能力。

    • 功能截图

    选择数据源

    输出目标表

    确认创建（任务基本信息）

    任务编辑

    GUANDATA数据源在工作流中支持SQL查询结果预览

    • 应用场景

    在工作流开发中基于GUANDATA数据源作为输入时，开发者希望像使用数据库数据源一样可以即时预览SQL的执行结果。

    • 功能介绍

    在SQL编辑区域提供"预览"入口按钮。

    • 功能截图

    预览入口

    预览结果

    数据流/工作流增加"更新者"属性

    • 应用场景

    数据类项目的建设过程中，随着业务需求和项目人员的迭代，数据流/工作流的配置逻辑会同步发生变更，但维护人员不一定是最初的开发者，需要记录具体的更新用户来帮助业务/运维找到最近的更新者，达到快速确认其所负责的工作流/数据流是否被人所更改的目标。

    • 功能介绍

    在数据流/工作流的展示列表显示"更新者"属性，当数据流/工作流被更新（手动编辑、批量导入）后，该属性将显示发起更新操作的用户名称。

    • 功能截图

    数据流列表

    工作流列表

    数据流/工作流开发支持引用"任务执行者"信息

    • 应用场景

    在实际落地的数据业务表中保存数据开发任务执行的具体用户信息，以便运维在数据发生问题的情况下第一时间追溯到数据内容的更新者。

    • 功能介绍

    1. 在Universe底层开放预置参数etl_user记录任务的当前执行者用户，用户记录逻辑：

    • 定时执行、恢复容错 - system

    • 重跑、从失败处继续运行 - 执行操作的用户

    • A工作流被B工作流引用 - A&B都显示运行B的用户

    • 多日期补数 - 每次补数操作人都是执行补数的用户

    1. 通过在全局参数中定义新的全局参数引用execute.user；

    2. 在数据流/工作流中引用上一步定义的全局参数进行任务开发。

    • 功能截图

    在全局参数中引用预置参数etl_user定义"任务执行者"全局参数

    在数据流/工作流中引用"任务执行者"参数

    全局参数管理增加"参数描述"属性

    • 应用场景

    数仓类项目全局参数会有个数比较多的情况，而且会存在名称相似但含义不同的情形，随着项目人员迭代及项目交维，参数的真实含义不能很直接地理解到。

    • 功能介绍

    在全局参数管理的展示列表显示"参数描述"属性，"新增"、"编辑"的操作界面支持参数描述的录入和修改。

    • 功能截图

    参数列表

    新增参数

    编辑参数

    工作流-Spark节点引用Python文件时支持使用参数

    • 应用场景

    开发者在工作流中可以通过引用自定义Python代码或文件的方式完成业务逻辑的构建和运行，为了更好地与调度及其他工作流节点进行动态交互，需要支持在Python文件中可以引用全局参数、工作流参数及动态变量。

    • 功能介绍

    在工作流中使用Spark节点，执行Python任务类型时，若其所使用的.py文件包含全局参数/工作流参数/动态参数/节点参数等，均可正常进行解析替换、使用。

    • 功能截图

    • 工作流-Python节点同样支持使用全局参数等，详见：

    2021年10月重要功能更新

    以下功能在4.1.0及之后的版本中均可使用 1.仪表板相关优化 1.1 可视化图表增加表格链接跳转方式 当需要打开表格里的链接时，为了让用户能够选择自己习惯的跳转方式，同时使表格链接跳转和卡片跳转的功能一致，观远数据对可视化图表中表格的超链

    Galaxy帮助中心

    SQL语句中表名支持引用参数适配分表场景

    • 应用场景

    在数仓建设过程中，考虑到单表数据量过大、数据业务分类等场景会对数据表进行分表处理，常见分表方式有按照时间维度（按小时、按天、按月等）、按照地域维度（省份、地市等）区分等等。

    对于STRING/DATE等类型的参数，在解析时，平台将自动带上双引号，将参数用于表名位置时，根据不同数据库的语法规则，可能会报错。

    • 功能介绍

    支持表名以"固定字符串+参数/变量"的方式进行表数据的获取。

    如需去除STRING/DATE等类型在解析时自动代入的引号，可在引用全局参数、工作流参数、节点参数、动态变量等时，在变量名称前加上RAW_STR_，获取到不加引号的字符串。

    • 功能截图

    SmartETL导入数据流时支持注释内容导入

    BI SmartETL支持添加注释后，由其导出的ETL json文件在Universe数据流中进行导入时，注释内容将一并被导入。

    0 人点赞过