跳到主要内容

PYTHON节点

1.概述

PYTHON 任务节点可运行 python 类型的脚本,并支持为 python 脚本指定输入数据集/输出数据集。

2.节点配置

  • 脚本:编辑需要运行的 python 脚本
    • 默认 python 版本:3.8
    • python 环境内置组件:numpy、pandas、pyarrow、matplotlib、scikit-learn、(支持其他python 组件扩展,可以额外部署python环境)
    • python 脚本中支持引用参数(工作流参数、时间宏参数、任务参数)
  • 输入:选择输入数据集,输入数据可以通过 load_input1()、load_input2() 的方式加载到 pandas 的 dataframe 中
  • 输出:当脚本处理好结果后,可以调用 save_output1()、save_output2()等将数据存储到输出中, 以供后续输出到数据集中,支持全量/增量方式输出到数据集

3.运行选项

  • 运行标志
    • 禁止执行:工作流运行至该节点后将直接跳过执行,常用于临时数据问题排查、部分任务运行控制等场景。
    • 正常:按照既有调度策略运行该节点,节点默认运行标志。
  • 失败重试
    • 重试次数:节点失败后的自动重试次数,默认1次
    • 重试间隔时间:触发重试的时间间隔,默认5分钟
  • 超时限制
    • 超时时间:单个节点的超时时间限制,超过后会自动失败

|500