当前位置:网站首页>Spark 在 Yarn 上运行 Spark 应用程序
Spark 在 Yarn 上运行 Spark 应用程序
2022-07-31 07:04:00 【@SmartSi】
在 Yarn 上运行 Spark 提供了与其他 Hadoop 组件最紧密的集成,也是在已有 Hadoop 集群上使用 Spark 的最简单的方法。为了在 Yarn 上运行 Spark 应用程序,Spark 提供了两种部署模式:Client 模式和 Cluster 模式。Client 模式的 Driver 在客户端运行,而 Cluster 模式的 Driver 在 Yarn 的 Application Master 上运行。
对于具有任何交互式组件的程序(例如,spark-shell,pyspark)都必须使用 Client 模式。Client 模式在构建 Spark 应用程序时也很有用,因为任何调试输出都是立即可见的。Cluster 模式适用于生产作业,因为整个应用在集群上运行,这样做更容易保留日志文件(包括来自 Driver 的日志文件)以供日后的异常检查。
1. 部署模式
在 YARN 中,每个应用程序实例都有一个 ApplicationMaster 进程,该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源,应用程序将指示 NodeManagers 启动容器。ApplicationMasters 消除了对活跃客户端的依赖:启动应用程序的进程可以终止,并且从在集群上由 YARN 管理的进程继续协作运行。
有关指定部署模式的选项,请参阅Spark 应用程序部署工具 spark-submit。
1.1 Client 部署模式
在 Client 模式下,Spark Driver 在提交作业的主机上运行。Ap
边栏推荐
猜你喜欢
随机推荐
HighTec 的安装与配置
2022.07.15_每日一题
Thread 类的基本用法——一网打尽
完美指南|如何使用 ODBC 进行无代理 Oracle 数据库监控?
Fund investment advisory business
熟悉而陌生的新朋友——IAsyncDisposable
知识、创新、回报。
【面试:并发篇38:多线程:线程池】ThreadPoolExecutor类的基本概念
强化学习科研知识必备(数据库、期刊、会议、牛人)
关于yum源的配置及更新
[PSQL] SQL Basic Course Reading Notes (Chapter1-4)
【Go】Go 语言切片(Slice)
Visual Studio新功能出炉:低优先级构建
[PSQL] Complex query
2022.07.12_Daily Question
interrupt and pendSV
DAY18:XSS 漏洞
【微服务】Nacos集群搭建以及加载文件配置
bcos简介及自序
Yu Mr Series 】 【 2022 July 022 - Go Go teaching course of container in the dictionary