Universe 帮助中心

4.2.12 SPARK节点

创建于 2022-10-31 / 最近更新于 2022-11-07 / 1809
字体: [默认] [大] [更大]

SPARK任务节点可以向指定的集群提交Spark任务,并支持使用资源文件中上传的程序包文件。

  • 程序类型:支持提交Java/Python两种类型的Spark任务

  • 程序主类:选择Java类型时需要填写主函数的Class(eg: org.apache.spark.examples.SparkPi)

  • 主程序包:可以从资源文件中选择Java/Python类型的主程序包(单选)

  • 资源程序包:可以从资源文件中选择Java/Python类型的资源程序包(支持多选)

  • 程序包参数:可以填写传入程序包的参数(eg: app_arg1 app_arg2)

  • 部署方式:支持cluster/client/local三种类型部署方式

  • Driver/Executor:可以设置相应的数量、内核数及内存

  • 其他参数:可以填写传入spark命令的其他参数(eg: --master )

4 人点赞过