5.1 数据集介绍

数据集的作用

• 支持对于手工表类型（CSV/Excel）的数据源手动上传接入

• 可以将工作流/数据流中产生的数据存储在观远指定的存储介质内

• 基于相同的的minio+delta lake存储架构，开发平台的数据集可以与BI平台打通，从而可以将数据直接服务于可视化分析的数据应用层

• 工作流/数据流中，支持从数据集中获取数据，参与后续流程中的数据处理

• 编辑数据流定义时，支持基于数据集中的数据进行每个算子的编辑预览

数据集的来源

• 上传文件创建数据集

• 工作流/数据流中产生的数据注册数据集

• 工作流/数据流中产生的数据更新数据集

与BI平台打通

• BI平台支持新建“Universe数据集”，可以直接选择开发平台的数据集进行可视化分析

• 如果开发平台的数据集发生更新，会及时推送同步至BI平台

• 对于BI平台的可视化分析，开发平台负责底层数据存储，BI平台负责卡片计算