spark架构

1 背景

   基于spark开发都是使用spark框架，在上面做业务层面开发，了解spark的基本架构

可以快速掌握spark的使用技巧

2  架构图

 

 3   术语讲解

    3.1 Cluster Manager  

     是集群资源的管理者，可以理解为spark的运行底座，所有代码都是跑在上面的

     Spark支持3种集群部署模式： Standalone、Yarn、Mesos

   3.2  Driver Program

    

        spark程序里面的main方法

        创建了 SparkContext，SparkContext 发送 Task 到 Executor 上执行

        这里面就讲一个点，Driver Program的JVM和Executor不共享一个JVM，甚至不在一台机器

  

    3.3  Executor

      

         代码中执行算子的代码区域

         在工作节点上运行，执行 Driver 发送的 Task

         并向 Driver Manager 返回运算结果