Universe 帮助中心

2021年03月重要功能更新

创建于 2022-10-28 / 最近更新于 2022-11-07 / 664
字体: [默认] [大] [更大]

以下功能在1.5.0及之后的版本中均可使用

工作流定义的API调用支持设置工作流参数

通过API触发工作流定义的运行时,支持为相应的工作流参数赋值。

详见:8.3 工作流调用》

工作流中任务实例的运行状态支持通过API查询

通过API触发工作流定义的运行后,可进一步通过API查询工作流实例中任务实例的运行状态。

详见:8.3 工作流调用》

数据集详情页支持针对数据结构进行新增列/删除列操作

数据集详情页中的“数据结构”,支持对列进行新增/删除操作。

入口:数据中心-数据集详情页-数据结构-编辑

单击[新增列],默认在最后一列下方增加新列,填入[字段名]、[字段类型]及[注释](选填),进行[保存]完成当前列新增(新增列的数据默认为空)。

如需指定新增列位置,可在目标新增位置处,单击已有列[设置],选择[向前新增列]/[向后新增列],进行[保存]即在已有列前方/后方完成列新增(新增列的数据默认为空)。

如需删除指定列,单击指定列[设置],选择[删除列],进行[保存]完成列删除操作;未保存前,可单击[恢复]按钮进行待删除列的恢复。

为保证相关任务正常运转,如已指定去重主键,主键列将独立标识,且不支持在数据结构中直接删除。

数据质量模型“逻辑检测”类型规则新增“高级查询”模式

数据质量模型中“逻辑检测”类规则新增对“高级查询”模式的支持。

入口:数据中心-数据质量管理-编辑

  • 规则编辑器中支持输入SELECT SQL语句,需要用input指代目标数据集,并支持使用包括聚合函数在内的Spark函数;

  • 规则编辑框中输入的SELECT SQL语句用于对异常数据进行查询:

    • 如果查询不到异常数据,那么该规则通过;

    • 如果一旦查询得到异常数据,那么该规则不通过;

数据质量报告中支持对异常数据进行查看:

SUB_PROCESS节点支持设置“失败重试”

SUB_PROCESS节点新增对“失败重试”运行选项的支持,对于运行失败的SUB_PROCESS节点支持整体重跑。

入口:工作流定义-SUB_PROCESS节点-运行选项

此外,工作流实例详情页支持查看任务实例(包括各种类型任务节点)的失败重试次数,同时支持在甘特图中显示每次重试的详情,以确认整体运行情况。

FTP节点的文件名称设置支持使用参数

FTP节点中文件名称的设置支持通过${参数名}的方式使用全局参数/工作流参数,可以便捷、动态地读取不同的文件夹地址。

入口:工作流定义-FTP(文件读取)节点-文件名称

数据流定义/工作流定义内的“注册数据集”节点展示方式优化

数据流定义/工作流定义中的[注册数据集]节点,当其数据集已完成在数据中心的注册时,该节点与数据集进行绑定,对于该数据集的基本属性仅支持展示不支持修改(包括数据集名称、位置、去重主键);

若需修改数据集基本属性,可进入数据中心进行修改,同时修改后的名称/位置/去重主键等信息将同步至相应的[注册数据集]节点进行展示。

BI平台SmartETL迁移至数据流时“输出数据集”算子自动转换为“注册数据集”

BI平台的SmartETL导出导入到数据开发平台的数据流时,其“输出数据集”算子默认转换为数据流定义的“注册数据集”算子。

上传文件创建数据集失败时,数据集详情页新增异常状态提示

对于上传文件创建数据集失败的情况,在数据集详情页/数据流列表页给出明确的异常提示;同时,设置去重主键/导出/数据查询/数据清理等功能将不可使用,在工作流/数据流将无法选择该异常数据集。

工作流定义/数据流定义列表页面支持针对描述内容进行搜索


0 人点赞过