2021年07月重要功能更新

以下功能在1.9.0及之后的版本中均可使用

数据开发平台新增许可证权限管控

数据开发平台可通过许可证激活码进行平台的初始激活，同时许可证有效期可进行平台使用期限的权限控制。

平台初次激活前，普通用户无法使用平台，管理员可进行平台激活。

平台已经激活后，管理中心支持进行许可证的查看与更新，入口：管理中心-系统设置-许可证

如果许可证已经到期，普通用户无法使用平台，管理员可进行许可证更新。

支持通过创建数据结构方式创建数据集

基于数仓建设的最佳实践，平台新增通过[创建数据结构]的方式创建数据集，以支持更加灵活的建表操作。

入口：数据中心-数据集列表页-创建数据集-创建数据结构

可选择以下两种方式进行数据结构的创建：

• 通过数据字典创建

• 上传数据字典文件

  文件类型：Excel文件，其他类型无法进行解析

• 选择待上传的数据字典，单击下一步

• 进行各表的数据结构编辑

• 设置文件解析规范，确认数据结构解析列的起始位置

• 选择目标表数据结构各列所对应的映射列

进行字段类型映射时，平台可自动识别以下数据类型：

• 核对并完成数据结构信息修正，进入下一步。

• 确认待创建的数据集名称及存储位置，单击[确认新建]，完成数据集创建过程。

• 直接创建

• 选择[直接创建]，直接进入下一步。

• 在直接创建时，可灵活进行数据结构的编辑/调整，单击回车键，可进行字段新增。完成字段新增后，进入下一步。

• 确认待创建的数据集名称及存储位置，单击[确认新建]，完成数据集创建过程。

数据流支持将数据回写至Maxcompute数据源

入口：数据流定义详情页-输出至数据库算子

• 支持操作模式：插入数据/插入更新数据

• 数据连接：可选择[Maxcompute]数据源下的数据连接及数据表（暂不支持[表不存在则新建]操作）

• 插入数据：

• 可选择数据写入方式：

• insert into；

• insert overwrite；（Maxcompute普通表不能进行DELETE操作，全量更新仅可通过insert overwrite完成）

• 可进行前置sql、后置sql的配置；

• 可进行字段映射设置；（Maxcompute需保证所有字段均存在映射）

• 插入更新数据（仅对Transactional表生效）：

• 可进行前置sql、后置sql的配置；

• 可进行字段映射设置；（Maxcompute需保证所有字段均存在映射）

工作流中”文件读取“/”文件输出“节点新增对Amazon S3的支持

数据连接中新增Amazon S3数据源类型，入口：数据中心-数据连接-创建数据连接

工作流中“文件读取”和“文件输出”节点新增支持Amazon S3数据连接。

定时运行的工作流实例新增并发互斥机制

针对某个开启了定时运行的工作流定义，如果存在定时调度产生的工作流实例没有运行完毕（即未到达成功、失败、停止等运行终态），则不允许后续的定时调度实例开始运行，从而避免实例堆积或者无效的实例运行。

支持导出多数据集的数据查询结果

多数据集数据查询广泛用于对数场景，此时需要导出查询结果，基于查询结果与目标表进行数据核对。

入口：数据集列表页-数据查询-执行SQL查询-查询结果-导出

查询结果导出格式：.csv

新增查询数据质量模型规则详情API

当前版本支持查询数据质量模型内的规则详情，API详见：《8.4 数据质量模型调用》