Universe 帮助中心

2021年01月重要功能更新

创建于 2022-10-28 / 最近更新于 2022-11-07 / 983
字体: [默认] [大] [更大]

以下功能在1.3.0及之后的版本中均可使用

数据下载API支持多数据集查询

支持通过API获取多个数据集中的数据,并支持自定义查询SQL语句。

详见:《8.2.2 数据下载》

数据集详情页支持数据结构编辑操作

数据集详情页新增“数据结构”展示,支持以下内容的展示和编辑:字段名称、字段类型、字段注释。

入口:数据中心-数据集详情页-数据结构

对于新创建的数据集,字段注释默认为空:

如果该数据集已经被任何工作流/数据流/Universe数据集/数据质量模型引用,那么修改字段名称/字段类型时会进行二次提示(单纯修改字段注释不会进行二次提示),后续可通过数据集详情页的关联信息/质量模型查看该数据集被引用的具体情况:

如果该数据集被BI平台的Universe数据集引用,那么开发平台关于数据结构的任何修改,都可以及时同步至BI平台的Universe数据集。

工作流/数据流中更新数据集操作支持字段映射

通过工作流/数据流更新数据集时(包括覆盖旧数据/添加新数据),支持设置字段映射:

  • 支持展示:源表的字段和类型、目标表的字段和类型

  • 两者默认根据名称进行自动匹配映射,同时支持手工设置映射关系

  • 以目标表字段为基准,支持选择对应的源表字段

    • 目标表中如果有字段不进行来源映射,那么该字段将不进行insert/update操作

SCD节点新增对内部数据集的支持

工作流中的SCD节点新增对内部数据集的支持,可以在数据集上初始化/增量更新拉链表(SCD节点详细介绍可点击下方卡片查看)。详见:4.2.13 SCD节点》

工作流/数据流定义列表页支持流程的导入

工作流/数据流定义列表页新增“导入”入口,支持根据导入的json文件读取工作流/数据流定义的名称、描述、超时告警等信息。

工作流定义的导入:

入口:任务调度-工作流定义-导入工作流

数据流定义的导入:

入口:任务调度-数据流定义-导入数据流

数据流支持使用全局参数

普通数据流/DB数据流均支持使用项目级别的全局参数,具体使用范围为以下算子中的SQL语句/表达式,可以通过${参数名}的方式引用全局参数。

  • DB数据流:从数据库输入、输出至数据库、SQL输入、添加计算列、分组聚合-添加计算字段、筛选数据行

  • 普通数据流:输出至数据库、输出数据集-更新数据集、SQL输入、添加计算列、分组聚合-添加计算字段、筛选数据行

QUALITY_MODEL和VALIDATION节点支持设置“失败策略”

QUALITY_MODEL和VALIDATION节点新增“失败策略”配置项(默认勾选):该节点运行失败后,可选择是否导致整个工作流运行失败

数据质量模型“值域”类型规则优化

数据质量模型中“值域”类型规则支持两种类型字段:数值类型、日期类型

  • 对于“数值”类型字段,新增对于 正无穷/负无穷 的支持

  • 对于“日期”类型字段,支持设置日期范围

Excel手工表的文件解析支持设置跳过行列数

针对Excel类型文件,支持设置跳过从头开始的多少行/多少列进行解析。

样例文件:

设置入口:

  • 数据中心-创建数据集(文件类型选择为Excel)

  • 工作流定义编辑页-FTP文件读取节点(文件类型选择为Excel)

SQL-获取数据节点新增对MaxCompute数据源的支持


0 人点赞过