Spark 的架构与作业提交流程

提交任务样例

spark-submit \ 
--master local[5] \ 
--driver-cores 2 \ 
--driver-memory 8g \ 
--executor-cores 4 \ 
--num-executors 10 \ 
--executor-memory 8g \ -
-class PackageName.ClassName XXXX.jar \ 
--name "Spark Job Name" \ 
InputPath \ 
OutputPath

• executor-cores —— 每个 executor 使用的内核数，默认为 1，官方建议 2-5 个
• num-executors —— 启动 executors 的数量，默认为 2
• executor-memory —— executor 内存大小，默认 1G
• driver-cores —— driver 使用内核数，默认为 1
• driver-memory —— driver 内存大小，默认 512M