当前位置:网站首页>Spark 在 Yarn 上运行 Spark 应用程序
Spark 在 Yarn 上运行 Spark 应用程序
2022-07-31 07:04:00 【@SmartSi】
在 Yarn 上运行 Spark 提供了与其他 Hadoop 组件最紧密的集成,也是在已有 Hadoop 集群上使用 Spark 的最简单的方法。为了在 Yarn 上运行 Spark 应用程序,Spark 提供了两种部署模式:Client 模式和 Cluster 模式。Client 模式的 Driver 在客户端运行,而 Cluster 模式的 Driver 在 Yarn 的 Application Master 上运行。
对于具有任何交互式组件的程序(例如,spark-shell,pyspark)都必须使用 Client 模式。Client 模式在构建 Spark 应用程序时也很有用,因为任何调试输出都是立即可见的。Cluster 模式适用于生产作业,因为整个应用在集群上运行,这样做更容易保留日志文件(包括来自 Driver 的日志文件)以供日后的异常检查。
1. 部署模式
在 YARN 中,每个应用程序实例都有一个 ApplicationMaster 进程,该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源,应用程序将指示 NodeManagers 启动容器。ApplicationMasters 消除了对活跃客户端的依赖:启动应用程序的进程可以终止,并且从在集群上由 YARN 管理的进程继续协作运行。
有关指定部署模式的选项,请参阅Spark 应用程序部署工具 spark-submit。
1.1 Client 部署模式
在 Client 模式下,Spark Driver 在提交作业的主机上运行。Ap
边栏推荐
猜你喜欢
Calculation example of matlab program iEEE9 node system for power flow calculation of AC-DC hybrid system based on alternate iteration method
Fund investment advisory business
PCB抄板
文件 - 05 下载文件:根据文件Id下载文件
'vite' is not an internal or external command, nor is it a runnable program or batch file.
Zabbix6.2 Surprise Release!Especially optimize the performance of medium and large environment deployment!
03-SDRAM: Write operation (burst)
【愚公系列】2022年07月 Go教学课程 022-Go容器之字典
Shellshock
【网络攻防】常见的网络攻防技术——黑客攻防(通俗易懂版)
随机推荐
Leetcode952. Calculate maximum component size by common factor
基于LSTM的诗词生成
Machine Learning - Notes and Implementation of Linear Regression, Logistic Regression Problems
2022.07.26_每日一题
Obtaining server and client information
文件 - 05 下载文件:根据文件Id下载文件
2022.07.15_每日一题
Client navicat installation tutorial
【科普向】5G核心网架构和关键技术
分布式缓存系统必须要解决的四大问题
Calculation example of matlab program iEEE9 node system for power flow calculation of AC-DC hybrid system based on alternate iteration method
MySQL详解
Zotero | Zotero translator plugin update | Solve the problem that Baidu academic literature cannot be obtained
mysql的建表语句_三种常用的MySQL建表语句
2022.07.20_Daily Question
2022.07.15_每日一题
波士顿房价数据集 Boston house prices dataset
2022.07.12_每日一题
Shell编程之条件语句
【Go语言入门】一文搞懂Go语言的最新依赖管理:go mod的使用