当前位置:网站首页>CDH集群spark-shell执行过程分析
CDH集群spark-shell执行过程分析
2022-07-30 20:10:00 【格格巫 MMQ!!】
目的
刚入门spark,安装的是CDH的版本,版本号spark-core_2.11-2.4.0-cdh6.2.1,部署了cdh客户端(非集群节点),本文主要以spark-shell为例子,对在cdh客户端上提交spark作业原理进行简单分析,加深理解
spark-shell执行
启动spark-shell后,可以发下yarn集群上启动了一个作业,实际上,cdh-spark默认提交作业模式为yarn-client模式,即在本地运行Driver,作业在yarn集群上执行
spark-shell启动过程分析
查看spark-shell路径及内容,$LIB_DIR值为/opt/cloudera/parcels/CDH/lib,所以执行的是/opt/cloudera/parcels/CDH/lib/spark/bin/spark-shell
继续查看/opt/cloudera/parcels/CDH/lib/spark/bin/spark-shell,脚本关键的内容如下:
#!/usr/bin/env bash
if [ -z "
边栏推荐
- Recommended system: cold start problem [user cold start, item cold start, system cold start]
- 18.客户端会话技术Cookie
- MySQL大总结
- MySQL性能优化(硬件,系统配置,表结构,SQL语句)
- 一文2500字手把手教你配置Jenkins自动化邮件通知
- PPT如何开启演讲者模式?PPT开启演讲者模式的方法
- PostgreSQL 14.4如何安装使用
- 推荐系统:开源项目/工具【谷歌:TensorFlow Recommenders】【Facebook:TorchRec】【百度:Graph4Rec】【阿里:DeepRec和EasyRec】
- Recommendation System - Sorting Layer: Sorting Layer Architecture [User and Item Feature Processing Steps]
- KEIL problem: [keil Error: failed to execute 'C:\Keil\ARM\ARMCC']
猜你喜欢
推荐系统-排序层-模型(一):Embedding + MLP(多层感知机)模型【Deep Crossing模型:经典的Embedding+MLP模型结构】
如何解决gedit 深色模式下高亮文本不可见?
【考研词汇训练营】Day18 —— amount,max,consider,account,actual,eliminate,letter,significant,embarrass,collapse
基于人脸的常见表情识别(1)——深度学习基础知识
历史上的今天:Win10 七周年;微软和雅虎的搜索协议;微软发行 NT 4.0
Typora设置标题自动标号
Face-based Common Expression Recognition (2) - Data Acquisition and Arrangement
Linux下安装MySQL教程
Cesium loads offline maps and offline terrain
并发与并行的区别
随机推荐
How to copy table structure and table data in MySQL
HMS Core Discovery第16期回顾|与虎墩一起,玩转AI新“声”态
如何优化OpenSumi终端性能?
KEIL problem: [keil Error: failed to execute 'C:\Keil\ARM\ARMCC']
ERROR 1045 (28000) Access denied for user ‘root‘@‘localhost‘解决方法
After MySQL grouping, take the largest piece of data [optimal solution]
线性结构:顺序表和链表
推荐系统-模型:FNN模型(FM+MLP=FNN)
历史上的今天:Win10 七周年;微软和雅虎的搜索协议;微软发行 NT 4.0
Mac安装PHP开发环境
MySQL夺命10问,你能坚持到第几问?
MySQL八股文背诵版
线性结构:栈和队列
centos7安装mysql8
MySql密码
HarmonyOS笔记-----------(三)
WPS没有在任务栏显示所有窗口选项怎么回事?
MySQL数据库 ---MySQL表的增删改查(进阶)
excel数字如何转换成文本?excel表格数据转换成文本的方法
普通的int main(){}没有写return 0;会怎么样?