2021年01月重要功能更新

以下功能在1.3.0及之后的版本中均可使用

数据下载API支持多数据集查询

支持通过API获取多个数据集中的数据，并支持自定义查询SQL语句。

详见：《8.2.2 数据下载》

数据集详情页支持数据结构编辑操作

数据集详情页新增“数据结构”展示，支持以下内容的展示和编辑：字段名称、字段类型、字段注释。

入口：数据中心-数据集详情页-数据结构

对于新创建的数据集，字段注释默认为空：

如果该数据集已经被任何工作流/数据流/Universe数据集/数据质量模型引用，那么修改字段名称/字段类型时会进行二次提示（单纯修改字段注释不会进行二次提示），后续可通过数据集详情页的关联信息/质量模型查看该数据集被引用的具体情况：

如果该数据集被BI平台的Universe数据集引用，那么开发平台关于数据结构的任何修改，都可以及时同步至BI平台的Universe数据集。

工作流/数据流中更新数据集操作支持字段映射

通过工作流/数据流更新数据集时（包括覆盖旧数据/添加新数据），支持设置字段映射：

• 支持展示：源表的字段和类型、目标表的字段和类型

• 两者默认根据名称进行自动匹配映射，同时支持手工设置映射关系

• 以目标表字段为基准，支持选择对应的源表字段

• 目标表中如果有字段不进行来源映射，那么该字段将不进行insert/update操作

SCD节点新增对内部数据集的支持

工作流中的SCD节点新增对内部数据集的支持，可以在数据集上初始化/增量更新拉链表（SCD节点详细介绍可点击下方卡片查看）。详见：《4.2.13 SCD节点》

工作流/数据流定义列表页支持流程的导入

工作流/数据流定义列表页新增“导入”入口，支持根据导入的json文件读取工作流/数据流定义的名称、描述、超时告警等信息。

工作流定义的导入：

入口：任务调度-工作流定义-导入工作流

数据流定义的导入：

入口：任务调度-数据流定义-导入数据流

数据流支持使用全局参数

普通数据流/DB数据流均支持使用项目级别的全局参数，具体使用范围为以下算子中的SQL语句/表达式，可以通过${参数名}的方式引用全局参数。

• DB数据流：从数据库输入、输出至数据库、SQL输入、添加计算列、分组聚合-添加计算字段、筛选数据行

• 普通数据流：输出至数据库、输出数据集-更新数据集、SQL输入、添加计算列、分组聚合-添加计算字段、筛选数据行

QUALITY_MODEL和VALIDATION节点支持设置“失败策略”

QUALITY_MODEL和VALIDATION节点新增“失败策略”配置项（默认勾选）：该节点运行失败后，可选择是否导致整个工作流运行失败

数据质量模型“值域”类型规则优化

数据质量模型中“值域”类型规则支持两种类型字段：数值类型、日期类型

• 对于“数值”类型字段，新增对于 正无穷/负无穷 的支持

• 对于“日期”类型字段，支持设置日期范围

Excel手工表的文件解析支持设置跳过行列数

针对Excel类型文件，支持设置跳过从头开始的多少行/多少列进行解析。

样例文件：

设置入口：

• 数据中心-创建数据集（文件类型选择为Excel）

• 工作流定义编辑页-FTP文件读取节点（文件类型选择为Excel）

SQL-获取数据节点新增对MaxCompute数据源的支持