2022年5月重要功能更新
以下功能在2.7.0及之后的版本中均可使用
用户权限管理功能优化
应用场景
在数据开发平台上存在多部门或跨开发团队协作的客户来说,希望通过用户组对用户进行分群管理,并能管理非管理员用户在不同项目上的读写权限。
功能介绍
支持用户对项目的"查看"和"编辑"权限设置,项目上"查看"权限的用户禁用了对资源的可编辑功能。
用户授权项目操作页面
项目管理页面
工作流"SQL-插入数据"节点字段映射功能优化
应用场景
场景一:插入数据前置节点是SQL-处理数据节点时,字段映射的源字段只能手工输入,无法自动匹配和下拉选择,在实际开发过程中效率很低。
场景二:工作流实际执行过程中,目标表或数据集字段在全部字段无映射的情况下是无法运行成功的,目前在提交执行后才能发现,给到用户的校验提示需要前置。
功能介绍
"SQL-插入数据"在前置节点是"SQL-处理数据"的编排逻辑下,提供与前置输入为数据集相同的交互体验,支持解析"SQL-处理数据"节点的输出字段,并按照字段名称进行自动匹配推荐(忽略大小写),按名称无法匹配字段支持用户下拉指定。
2.字段映射设置在用户选择完目标数据集或目标表后即时校验
SQL编辑时支持进行SQL语法校验
应用场景
运行工作流/数据流等时相关SQL节点如发生语法问题,流程运行将会失败。如对SQL语法不敏感,需通过反复运行定位语法问题,用户时间成本高,且计算资源耗费较多。
因而平台在SQL编辑时支持SQL语法校验,将语法错误提前至运行之前发现解决,减少用户时间成本,及计算资源的浪费。
功能介绍
入口:
1.工作流定义详情页-SQL-处理数据算子-SQL语句编辑框
2.数据流定义详情页-其他-sql输入-SQL语句编辑框
3.数据集列表页-多数据集查询
4.数据集详情页-数据查询-编辑查询条件
单击对应入口,进行SQL编辑;
完成SQL编辑后,需首先执行[测试规则]:
若规则测试通过,[确定]按钮变更为可点击状态,单击[确定]保存SQL语句。
若规则测试不通过,平台将提示语法错误原因,需根据错误提示修正SQL语句并测试通过后,方可完成SQL语句的保存/运行;
数据探查功能整体优化
应用场景
通常应用于对数据集结构及数据情况不了解,需快速掌握其数据质量、数据特征等大致信息,为后续开发工作提供输入的情况。
基于实际需要做探查的业务场景,平台对探查采样方式、统计、可视化方案、结果留存等方面能力进行了全面的优化。
功能介绍
入口:数据集详情页-数据探查
支持选择探查方式
随机探查:设置目标采样行数,按照目标采样行数进行采样后,执行数据探查。(若采样行数>实际行数,则按照实际行数进行探查)
全量探查:取目标数据集全量数据执行探查。
设置探查方式后,单击[开始探查],进入数据探查过程。(探查为异步执行,可等待探查完成后返回界面查看结果)
探查报告
报告优化点如下:
统计值:
文本类型数据:
增加唯一值、缺失值占比展示;
数值类型数据:
增加唯一值、唯一值占比、缺失值占比展示;
增加方差展示;
时间类型数据:
增加唯一值、唯一值占比、缺失值占比展示;
布尔类型数据:
增加缺失值占比展示;
数值类数据自动分箱,按照直方图进行范围统计及频次展示;
增加文本类数据的默认展示数量至Top20+其它;
日期类型数据自动补充中间缺失日期,频次展示为0,便于查看每日数据连续性;
日期类型数据图表详情页增加缩略轴,支持自由放大/缩小展示区域;
数据开发平台左侧导航栏支持锁定
支持对导航栏锁定展开状态,不跟随用户操作进行自动展开/收起操作。