Universe 帮助中心

4.2.10 PYTHON节点

创建于 2022-10-31 / 最近更新于 2022-11-07 / 1376
字体: [默认] [大] [更大]

PYTHON任务节点可运行Python类型的脚本,并支持为Python脚本指定输入/输出。

  • 脚本:需要运行的python脚本,支持引用资源文件中的py文件;

    • 默认python版本:3.6.3(支持其他python版本扩展,可以额外部署python环境)

    • python环境内置组件:numpy、pandas、pyarrow、scipy、scikit-learn、jieba、gensim(支持其他python组件扩展,可以额外部署python环境)

    • python脚本中如果需要使用输入/输出数据,那么需要添加相应的输入/输出参数

  • 输入:输入数据可以通过load_input1()、load_input2() 的方式加载到pandas的dataframe中;

  • 输出:当脚本处理好结果后,可以调用 save_output1()、save_output2()等将数据存储到输出中, 以供数据流下游节点使用。

PYTHON节点同样支持使用自定义模块:

  • 使用资源文件方式加载:此方法适用于调试脚本或者一些偶尔使用的自定义模块,相对比较灵活。

    • 进入资源中心-文件管理-上传文件,将需要使用的自定义模块上传到开发平台

    • 进入到工作流的PYTHON节点中,在资源文件下拉框中选择需要的文件,即可在脚本中import自定义模块

  • 后台python lib自动加载:如果一个自定义模块需要在多个python节点中频繁使用,推荐使用这种方式。

    • 登录数据开发平台后台服务器,进入python的安装目录下,eg:/root/.pyenv/versions/3.7.7/lib/python3.7

    • 将所需的自定义模块拷贝到该目录下即可,该方式不需要再去各个python节点下选择资源文件,可以直接在脚本中import自定义模块。


25 人点赞过