2021年06月重要功能更新
以下功能在1.8.0及之后的版本中均可使用
告警通知渠道新增钉钉/企业微信群机器人
目前数据开发平台任务通知策略只会通知到邮件,不能及时接收告警信息。而客户工作中使用钉钉/企业微信的在多数,因而平台新增钉钉/企业微信群机器人的通知渠道,以便让告警信息更好地触达使用方。
工作流:
新增[通知设置],统一管理工作流定时运行告警、运行结果通知、工作流内部节点告警的通知渠道。
[通知设置]内的[通知渠道],在原有邮件渠道的基础上,新增[钉钉(群机器人)]、[企业微信(群机器人)]选项。
选择[通知渠道]为[钉钉(群机器人)]、[企业微信(群机器人)]后,添加群机器人的webhook URL,通知配置即生效。webhook地址获取方式详见:《9.2 钉钉/企业微信告警配置方式》
定时运行时,各项告警通知通过[通知设置]内配置好的渠道进行推送。
手动运行时,平台将自动带入[通知设置]内的配置信息,但支持用户进行通知策略修改,修改仅针对本次手动运行生效。
钉钉/企业微信工作流运行结果通知示例如下:
数据质量模型:
原[通知设置]新增[钉钉(群机器人)]、[企业微信(群机器人)]通知渠道,配置方式同工作流。
钉钉/企业微信数据质量模型运行结果通知示例如下:
服务器资源告警:
同样地,在原[通知渠道]处,新增[钉钉(群机器人)]、[企业微信(群机器人)]渠道,配置方式同工作流。
钉钉/企业微信服务器资源告警通知示例如下:
此外,为保证用户的平台资源问题得到及时处理,平台支持在系统资源达到告警阈值时,通过钉钉群机器人,自动把资源报警信息发送至所属观远Universe运维小组钉钉群。
勾选[通知观远Universe运维小组]选项,即开启自动通知功能。
Excel手工表支持进行“交叉表”模式的文件解析
针对Excel类型文件,支持进行“交叉表”模式的文件解析。
样例文件:
对于上图所示的“交叉表”,支持设置解析坐标用于区分以下区域:维度名称、维度内容、数值名称、数值内容,并进一步将“交叉表”解析为标准的数据格式(具体解析规则如下所示)。
设置入口:
数据中心-创建数据集(文件类型选择为Excel)
工作流定义编辑页-“文件读取”节点(文件类型选择为Excel)
数据质量模型字段粒度规则支持选择是否过滤null值检测
在做数据质量检测时,经常根据项目本身的情况,决定该检测是否需要过滤null值。
因而对数据质量模型字段粒度的部分规则进行是否进行null值过滤的支持。
入口:数据质量模型编辑页-规则详情-检验范围
支持null值过滤的规则:
唯一值 | 枚举值 | 值格式 | 值域 | 映射 |
勾选[过滤Null值],在检测前,平台将把待检测列中,值为Null的行过滤掉,即可对过滤后的行进行规则检测。
数据质量模型支持通过API调用
当前版本提供三个数据质量模型相关的接口:
1.调起数据质量模型接口;
2.查询数据质量模型运行结果接口;
3.查询数据质量规则异常数据接口;
用户管理支持查看用户的Galaxy关联账户并新增删除依赖判断
管理中心支持查看用户与BI平台“Universe数据账户”的关联关系;对于用户进行删除操作或者将用户移除项目权限时会进行相应的依赖判断:如果该用户已经在BI平台被“Universe数据账户”所使用,那么不允许删除/移除该用户。
入口:管理中心-用户管理-Galaxy关联账户
支持手动停止正在运行的DB数据流
若DB数据流启动后长时间不更新状态或其他异常情况导致的DB数据流一直处于正在执行状态,此时可以在当前DB数据流的运行记录页面,手动停止DB数据流的运行,成功被停止的DB数据流运行记录,其状态显示为[停止]。
入口:DB数据流列表-运行记录