Spark On YARN的作业提交流程

1.Spark On YARN的主要进程：

1.SparkSubmit
2.ResourceManager
3.NodeManager
4.Executor
5.ApplicationMaster

2.执行流程

1.客户端想YARN的resourceManager提交应用程序
2.ResourceManager收到请求后，选择一个NodeManager节点向其分配一个Container，并在Container中启动ApplicationMaster，ApplicationMaster中包含SparkContext的初始化。
3.ApplicationMaster想ResourceManager申请Container。ResourceManager收到请求后，向ApplicationMaster分配Container。
4.ApplicationMaster请求NodeManager，NodeManager在获得的Container中启动Executor
5.Executor启动后，向ApplicationMaster的Driver中的SparkContext注册并申请Task
6.Executor在得到Task之后，开始执行Task，并向SparkContext汇报执行状态和进度等信息