Universe 帮助中心

2.2 快速上手

创建于 2022-10-12 / 最近更新于 2022-12-09 / 6491
字体: [默认] [大] [更大]

观远数据开发平台快速上手指南如下图所示:

概览

用户登录后,可以切换至自己有权限的某个项目下,在概览页面查看该项目的基本统计信息。

创建数据源

数据源管理中支持数据源的创建与维护,为数据处理工作准备好各种数据账号的连接(供SQL/FTP任务节点使用)。

在某个项目下创建的数据源,将自动授权在当前项目下,随后管理员同样可以在“管理中心”对该数据源进行统一管理。

创建数据集

数据集管理中支持通过上传Excel/CSV文件的方式接入来自手工表的文件数据,并可以对数据集列表进行维护,数据集可以提供给DATASET任务节点/数据流中的输入数据集使用。

上传资源文件

文件管理中支持文件的上传与维护,为数据处理工作准备好需要使用的资源文件(供PYTHON/SHELL/SPARK任务节点使用)。

在某个项目下上传的文件,将自动授权在当前项目下,随后管理员同样可以在“管理中心”对该文件进行统一管理。

创建工作流定义

工作流定义中的任务通过有向无环图的形式组装起来,并进行可视化的流程管理。用户可以直接将任务节点拖拽到画布中,通过连线进行任务关联,需要注意的是:

  • 图中的连线与箭头仅代表任务之间的依赖关系以及执行顺序,并不代表任务内部的数据流向

  • 流程中的任务可以彼此独立不存在任何数据流向的关联,但如果需要更加灵活的指定任务间的数据关联,某些任务节点内部可以支持输入数据/输出数据的配置。

上/下线工作流定义

工作流定义分为上线/下线两种状态:

  • 上线后的工作流定义可以运行,不可以编辑;

  • 下线后的工作流定义可以编辑,不可以运行。

运行工作流定义

上线后的工作流定义可以手动运行/定时调度,可进行以下参数的设置:

实例管理

工作流实例可以监控每个任务的运行状态;任务实例可以查看每一个任务实例运行状态,并支持查看/下载任务运行日志:


195 人点赞过