用户行为分析与内置数据集
1. 用户行为分析概述
用户行为分析,是指通过基于观远数据BI平台系统的相关操作轨迹/行为等元数据(meta data),对系统所有的用户及用户组等的使用情况进行统计和分析的功能。
2. 用户行为分析价值
可帮助企业内部负责私有化部署的IT/运维部门,快速了解和分析业务人员在当前BI平台的使用情况。
可帮助企业IT/运维部门,或内部负责安全监控/信息安全审计的部门,完整和方便记录企业内部数据的访问操作等行为,构建一套安全监控和信息安全审计机制,有效保护企业数据资产安全。
3. 用户行为分析功能模块
目前用户行为分析功能主要由2大模块构成:内置数据集(即builtin dataset)和内置仪表板。
3.1 内置数据集
通过底层数据库和 web 端发起的请求等方式,我们构建了内置于系统的用户行为分析的8大数据集。这些数据集每日T+1全量进行更新。
在私有化部署环境中,任何用户都没有修改、删除、重命名这些数据集的权限(即便是管理员或拥有所有者权限)。但是用户可基于这些数据集进行二次开发,自定义企业内部所需要的用户行为分析逻辑。
3.1.1 builtin_execute_record表
该表是基于底层MySQL数据库抽取而来,用于存储数据集和ETL任务的执行情况。
表名 | 表字段名称 | 表字段类型 |
builtin_execute_record | 域 | STRING |
资源ID | STRING | |
资源类型 | STRING | |
开始运行时间 | TIMESTAMP | |
结束运行时间 | TIMESTAMP | |
运行时长 | LONG | |
状态 | STRING |
3.1.2 builtin_user表
该表是基于底层MySQL数据库抽取而来,用于存储用户的记录。
表名 | 表字段名称 | 表字段类型 |
builtin_user | 域 | STRING |
用户id | STRING | |
mobile | STRING | |
STRING | ||
账户 | STRING | |
账户类型 | STRING | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
用户属性 | STRING | |
自定义角色 | STRING | |
用户状态 | STRING |
3.1.3 builtin_card表
该表是基于底层MySQL数据库抽取而来,用于存储卡片的记录。
表名 | 表字段名称 | 表字段类型 |
builtin_card | 卡片ID | STRING |
域 | STRING | |
父卡片ID | STRING | |
所属数据集ID | STRING | |
创建者ID | STRING | |
卡片名称 | STRING | |
卡片类型 | STRING | |
图表类型 | LONG | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
页面ID | STRING |
3.1.4 builtin_page表
该表是基于底层MySQL数据库抽取而来,用于存储页面相关的记录。
表名 | 表字段名称 | 表字段类型 |
builtin_page | 页面ID | STRING |
域 | STRING | |
所属文件夹 | STRING | |
创建者ID | STRING | |
页面名称 | STRING | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
页面类型 | STRING |
3.1.5 builtin_data_flow表
该表是基于底层MySQL数据库抽取而来,用于存储ETL相关的记录。
表名 | 表字段名称 | 表字段类型 |
builtin_data_flow | ETL ID | STRING |
域 | STRING | |
创建者ID | STRING | |
所属文件夹 | STRING | |
ETL名称 | STRING | |
输入数据集 | STRING | |
输出数据集 | STRING | |
运行次数 | INT | |
成功运行次数 | INT | |
最近运行时长 | LONG | |
状态 | STRING | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
定时更新时间 | STRING | |
更新方式 | STRING | |
最近运行时间 | TIMESTAMP |
3.1.6 builtin_data_source表
该表是基于底层MySQL数据库抽取而来,用于存储数据集相关的记录。
表名 | 表字段名称 | 表字段类型 |
builtin_data_source | 数据集ID | STRING |
域 | STRING | |
创建者ID | STRING | |
所属文件夹 | STRING | |
数据集名称 | STRING | |
行数 | LONG | |
列数 | INT | |
定时更新时间 | STRING | |
状态 | STRING | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
数据集类型 | STRING | |
最近运行时间 | TIMESTAMP | |
数据抽取方式 | STRING |
3.1.7 user_and_user_group_relation_record表
该表是基于底层MySQL数据库抽取而来,用于存储用户与用户组归属关系的记录。
表名 | 表字段名称 | 表字段类型 |
user_and_user_group_relation_record | 用户ID | STRING |
用户名称 | STRING | |
用户组ID | STRING | |
用户组名称 | STRING | |
父用户组ID | STRING | |
父用户组名称 | TIMESTAMP |
3.1.8 user_behavior_analysis_record表
该表是通过记录web端Http发起的Request信息而来,用于存储用户以及用户组具体操作明细的记录。
表名 | 表字段名称 | 表字段类型 |
user_behavior_analysis_record | 操作时间 | TIMESTAMP |
域 | STRING | |
操作名称 | STRING | |
用户名称 | STRING | |
用户组名称 | STRING | |
资源ID | STRING | |
资源类型 | STRING | |
资源名称 | STRING | |
登录方式 | STRING | |
客户端操作系统 | STRING | |
客户端浏览器 | STRING | |
用户ID | STRING | |
客户端IP | STRING |
3.1.9 builtin_directory表
该表是基于底层MySQL数据库抽取而来,用于存储系统各类文件夹相关的记录。
表名 | 表字段名称 | 表字段类型 |
builtin_directory | 文件夹ID | STRING |
文件夹名称 | STRING | |
域 | STRING | |
创建者ID | STRING | |
父文件夹ID | STRING | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
资源类型 | STRING |
3.1.10 builtin_userGroup表
表名 | 表字段名称 | 表字段类型 |
builtin_userGroup | 域 | STRING |
用户组ID | STRING | |
用户组名称 | STRING | |
父用户组ID | STRING | |
创建时间 | TIMESTAMP | |
最近修改时间 | TIMESTAMP | |
自定义角色 | STRING |
3.2 内置仪表板
当前用户行为分析功能模块基于八大内置数据集(见3.1 内置数据集),提供了一套通用的用户行为分析可视化仪表板页面(页面名称:BI平台用户行为分析),涵盖了三大标准的分析逻辑,包括系统概览、页面和卡片使用情况,以及安全监控等。
在私有化部署环境内,任何用户都没有修改该内置仪表板的权限(即便是管理员或拥有所有者权限),但是默认管理员是所有者,可分配查看/另存为权限给其他用户。如果企业内部需要自定义企业内的用户行为分析逻辑,可基于我们提供的八大内置数据集进行二次开发。
3.2.1 系统概览
页面模块名称 | 页面组成卡片名称 | 卡片说明 |
系统概览 | 系统用户数 | 当前系统用户总数 |
用户组数 | 当前系统用户组总数 | |
页面数量 | 当前系统页面总数 | |
卡片数量 | 当前系统卡片总数 | |
活跃用户 | 当前系统活跃用户总数 | |
ETL运行次数 & 平均运行时长 | 当前系统ETL运行总次数和平均ETL任务运行时长(单位为秒) | |
活跃用户TOP10 | 当前系统活动用户前10 | |
活跃用户组TOP10 | 当前系统活动用户组前10 | |
用户高频操作帕累托分析 | 当前系统活动用户高频操作类型和次数的统计 | |
时段峰值监控 | 当前系统每日各小时段各登录方式访问量的总数分布情况 | |
最近90天API调用次数与人数周对比 | 最近90天API调用次数与人数周对比的变化情况 |
3.2.2 页面以及卡片使用情况
页面模块名称 | 页面组成卡片名称 | 卡片说明 |
页面以及卡片使用情况 | 最受欢迎的页面看板 | 当前系统最受欢迎页面看板名称的词云图 |
最近90天卡片新增数量以及卡片创建人数周对比 | 最近90天卡片新增数量以及卡片创建人数周对比变化情况 | |
近30天用户组访问卡片情况 | 最近30天用户组访问卡片的变化情况 | |
近30天用户组访问卡片人数与次数 | 最近30天用户组访问卡片人数与次数的总和 |
3.2.3 安全监控
页面模块名称 | 页面组成卡片名称 | 卡片说明 |
安全监控 | 用户导出行为监控 | 每日用户导出行为的监控包括谁导出和所导出的内容 |
户删除行为监控 | 每日用户删除行为的监控包括谁删除和所删除的内容 |
3.3 内置任务运行情况看板
为了有效简化IT团队运维的工作,观远数据在BI平台中内置了任务运行看板,将所有的任务运行信息可视化,发现异常时可以通过看板快速定位有问题的任务。
如需开通该功能,请联系技术支持同学。
使用说明
内置数据集:task_status 表
仪表板:任务分析看板,包含常见指标,比如按天级别的任务运行数量、卡片平均运行时间、九分位查询时间、CPU time较长的任务。