2022年3月重要功能更新
创建于 2022-10-28 / 最近更新于 2022-12-06 / 1353
字体:
[默认]
[大]
[更大]
以下功能在2.5.0及之后的版本中均可使用
数据流支持Hive输入
应用场景
在已经将Hive作为基础数仓存储的客群中,购买了观远数据开发平台以后,希望在数据流任务开发过程中直接使用Hive表作为输入,避免将Hive中的数据再复制一份到DeltaLake中带来的额外开发工作量和存储成本。
功能介绍
在数据流开发节点中支持了"输入Hive表",节点配置项包括数据连接选择、表查询SQL编辑以及预览条件设置。
数据预览支持"部分数据-限制数据行数"、"部分数据-设置过滤条件"、"全量数据"三种限制策略。
服务器资源支持CDH大数据集群资源使用率展示
应用场景
在类似宁波银行这类采用CDH作为底层大数据平台的客群中,数据开发平台作为CDH之上的应用开发工具,需要具备对大数据平台依赖组件的监控能力,为上线后的故障排查及优化分析提供支撑。
功能介绍
在开发平台的服务器资源监控新增"大数据集群"监控,目前主要实现了HDFS及Yarn的资源使用率监控。
用户属性新增“姓名”字段
管理者在创建平台新用户时,过往使用[用户名]字段,承担用户登录凭证及用户识别的作用。为规范管理及使用,更好地对接企业级门户,将用户登录及用户识别区分开:
在新版本中创建用户时,新增[姓名]属性:
姓名必填,可更改,不唯一,作为用户在平台各处行为的展示依据;
[用户名]更名为[账号],不可更改,且唯一,作为登录凭证使用;
支持通过选择用户进行告警人设置
过往在进行工作流/数据质量模型等告警通知设置时,若选择通知渠道为[邮件],需要通过输入邮箱地址的方式添加收件人/抄送人。
新版本中,支持通过直接搜索添加用户的方式,向目标用户的绑定的邮箱发送告警邮件。(原直接输入邮箱地址的功能禁用,收件人必须为平台用户所绑定的邮箱)
该功能已应用至:
工作流手动运行通知/定时运行通知;
数据质量模型运行通知;
实时流运行通知;
资源监控异常告警;
0 人点赞过