SparkSubmit.main（）方法提交外部参数，远程提交standalone集群任务

一、官方文档描述

二、引入pom【注意版本问题】

 <dependency>  
         <groupId>org.apache.spark</groupId>  
         <artifactId>spark-core_2.11</artifactId>  
         <version>2.2.0</version>  
     </dependency>  
  
     <dependency>  
         <groupId>org.apache.hadoop</groupId>  
         <artifactId>hadoop-client</artifactId>  
         <version>2.2.0</version>  
     </dependency>  

三、代码

import java.io.IOException;

import org.apache.spark.deploy.SparkSubmit;

public class Main {
    public static void main(String[] args) throws IOException {
        String appName = "test java web submit job to spark standalone";
        String className="cfca.xfraud.mltrain.DataTrainning";
        String [] arg0=new String[]{
                "--master","spark://192.168.115.64:7077",//ip端口
                 "--deploy-mode","cluster",
                 "--name",appName,
                 "--class",className,//运行主类main
                 "--executor-memory","2G",
                 "--total-executor-cores","10",
                 "--executor-cores","2",
                 "/home/xfraud/ml_train/MachineLearningTraining-0.2.jar",//在linux上的包 可改为hdfs上面的路径
                 "LR", "20180817111111", "66"//jar中的参数，注意这里的参数写法
        };
        SparkSubmit.main(arg0);
    }
}

四、运行结果

ps.free -m  查看机子上的内存使用率 ，注意内存不足的时候,spark界面上的任务会陷入等待。