Universe 帮助中心

2022年3月重要功能更新

创建于 2022-10-28 / 最近更新于 2022-12-06 / 868
字体: [默认] [大] [更大]

以下功能在2.5.0及之后版本中均可使用

数据流支持Hive输入

  • 应用场景

在已经将Hive作为基础数仓存储的客群中,购买了观远数据开发平台以后,希望在数据流任务开发过程中直接使用Hive表作为输入,避免将Hive中的数据再复制一份到DeltaLake中带来的额外开发工作量和存储成本。

  • 功能介绍

在数据流开发节点中支持了"输入Hive表",节点配置项包括数据连接选择、表查询SQL编辑以及预览条件设置。

数据预览支持"部分数据-限制数据行数"、"部分数据-设置过滤条件"、"全量数据"三种限制策略。

服务器资源支持CDH大数据集群资源使用率展示

  • 应用场景

在类似宁波银行这类采用CDH作为底层大数据平台的客群中,数据开发平台作为CDH之上的应用开发工具,需要具备对大数据平台依赖组件的监控能力,为上线后的故障排查及优化分析提供支撑。

  • 功能介绍

在开发平台的服务器资源监控新增"大数据集群"监控,目前主要实现了HDFS及Yarn的资源使用率监控。

用户属性新增“姓名”字段

管理者在创建平台新用户时,过往使用[用户名]字段,承担用户登录凭证及用户识别的作用。为规范管理及使用,更好地对接企业级门户,将用户登录及用户识别区分开:

在新版本中创建用户时,新增[姓名]属性:

姓名必填,可更改,不唯一,作为用户在平台各处行为的展示依据;

[用户名]更名为[账号],不可更改,且唯一,作为登录凭证使用;

支持通过选择用户进行告警人设置

过往在进行工作流/数据质量模型等告警通知设置时,若选择通知渠道为[邮件],需要通过输入邮箱地址的方式添加收件人/抄送人。

新版本中,支持通过直接搜索添加用户的方式,向目标用户的绑定的邮箱发送告警邮件。(原直接输入邮箱地址的功能禁用,收件人必须为平台用户所绑定的邮箱)

该功能已应用至:

工作流手动运行通知/定时运行通知;

数据质量模型运行通知;

实时流运行通知;

资源监控异常告警;

0 人点赞过