Universe 帮助中心

2021年07月重要功能更新

创建于 2022-10-28 / 最近更新于 2022-11-07 / 708
字体: [默认] [大] [更大]

以下功能在1.9.0及之后的版本中均可使用

数据开发平台新增许可证权限管控

数据开发平台可通过许可证激活码进行平台的初始激活,同时许可证有效期可进行平台使用期限的权限控制。

平台初次激活前,普通用户无法使用平台,管理员可进行平台激活。


平台已经激活后,管理中心支持进行许可证的查看与更新,入口:管理中心-系统设置-许可证



如果许可证已经到期,普通用户无法使用平台,管理员可进行许可证更新。


支持通过创建数据结构方式创建数据集

基于数仓建设的最佳实践,平台新增通过[创建数据结构]的方式创建数据集,以支持更加灵活的建表操作。

入口:数据中心-数据集列表页-创建数据集-创建数据结构

可选择以下两种方式进行数据结构的创建:

  • 通过数据字典创建

    • 上传数据字典文件

      文件类型:Excel文件,其他类型无法进行解析

    • 选择待上传的数据字典,单击下一步

    • 进行各表的数据结构编辑

      • 设置文件解析规范,确认数据结构解析列的起始位置

      • 选择目标表数据结构各列所对应的映射列

进行字段类型映射时,平台可自动识别以下数据类型:



源表字段类型

目标表字段类型

TEXT

STRING

%CHAR%

TINYTEXT

STRING

DOUBLE

NUMBER%

DECIMAL%

NUMERIC%

BINARY_DOUBLE%

DOUBLE

FLOAT%

BINARY_FLOAT

FLOAT(最新支持的数据类型)

DATETIME%

TIMESTAMP%

DATETIME

DATE

DATE

BIT%

INT%

SHORT

INTEGER

TINYINT%

SMALLINT%

MEDIUMINT%

INTEGER(最新支持的数据类型)

LONG

BIGINT

LONG

BOOL

BOOLEAN

BOOLEAN

其他类型/异常情况

默认为空

    • 核对并完成数据结构信息修正,进入下一步。

    • 确认待创建的数据集名称及存储位置,单击[确认新建],完成数据集创建过程。

  • 直接创建

    • 选择[直接创建],直接进入下一步。

    • 在直接创建时,可灵活进行数据结构的编辑/调整,单击回车键,可进行字段新增。完成字段新增后,进入下一步。

    • 确认待创建的数据集名称及存储位置,单击[确认新建],完成数据集创建过程。

数据流支持将数据回写至Maxcompute数据源

入口:数据流定义详情页-输出至数据库算子

  • 支持操作模式:插入数据/插入更新数据

  • 数据连接:可选择[Maxcompute]数据源下的数据连接及数据表(暂不支持[表不存在则新建]操作)

  • 插入数据:

    • 可选择数据写入方式:

      • insert into;

      • insert overwrite;(Maxcompute普通表不能进行DELETE操作,全量更新仅可通过insert overwrite完成)

    • 可进行前置sql、后置sql的配置;

    • 可进行字段映射设置;(Maxcompute需保证所有字段均存在映射)

  • 插入更新数据(仅对Transactional表生效):

    • 可进行前置sql、后置sql的配置;

    • 可进行字段映射设置;(Maxcompute需保证所有字段均存在映射)

工作流中”文件读取“/”文件输出“节点新增对Amazon S3的支持

数据连接中新增Amazon S3数据源类型,入口:数据中心-数据连接-创建数据连接

工作流中“文件读取”和“文件输出”节点新增支持Amazon S3数据连接。

定时运行的工作流实例新增并发互斥机制

针对某个开启了定时运行的工作流定义,如果存在定时调度产生的工作流实例没有运行完毕(即未到达成功、失败、停止等运行终态),则不允许后续的定时调度实例开始运行,从而避免实例堆积或者无效的实例运行。

支持导出多数据集的数据查询结果

多数据集数据查询广泛用于对数场景,此时需要导出查询结果,基于查询结果与目标表进行数据核对。

入口:数据集列表页-数据查询-执行SQL查询-查询结果-导出

查询结果导出格式:.csv

新增查询数据质量模型规则详情API

当前版本支持查询数据质量模型内的规则详情,API详见:8.4 数据质量模型调用》


0 人点赞过