当前位置:网站首页>Spark独立集群动态上线下线Worker节点
Spark独立集群动态上线下线Worker节点
2022-07-06 09:29:00 【若苗瞬】
(一)下线Worker节点
我的操作:关机就是了……
反正工作自然会交给其它节点做的。
当然其实应该这样,登录到需要下线的节点主机:
执行脚本关闭本机Worker:
$> $SPARK_HOME/sbin/stop-worker.sh
注意还有一个stop-workers.sh,是用来关闭全部Worker的,别搞错了。
看清楚多一个s!!!
如果你在Master上不小心执行了这个多个S的脚本(Master到所有Worker一定都配置了ssh密钥登录),
那么就全关完了……
关机前:
关机后:
过一段时间DEAD的Worker就会消失(集群总要留点时间看它能不能重新连接嘛)。
.
(二)上线Worker节点
登录到需要上线的节点主机:
执行脚本启动本机Worker,并连接到Spark Master:
$> $SPARK_HOME/sbin/start-worker.sh spark://vm00:7077
注意还有一个start-workers.sh脚本。区别同上。
最后,如果是一个新的Worker,别忘了在$SPARK_CONF_DIR里面编辑workers(或slaves)。
加入新Worker的主机名,方便下次集群全部一起启动。
对了,新启动的Worker有新的ID。
呃……完。
边栏推荐
- Double specific tyrosine phosphorylation regulated kinase 1A Industry Research Report - market status analysis and development prospect prediction
- Installation and use of VMware Tools and open VM tools: solve the problems of incomplete screen and unable to transfer files of virtual machines
- Flask框架配置loguru日志库
- 生成随机密码/验证码
- Codeforces Round #800 (Div. 2)AC
- 软通乐学-js求字符串中字符串当中那个字符出现的次数多 -冯浩的博客
- Study notes of Tutu - process
- Sword finger offer II 019 Delete at most one character to get a palindrome
- Kubernetes cluster deployment
- Configuration du cadre flask loguru log Library
猜你喜欢

OneForAll安装使用

Flag framework configures loguru logstore

1323. Maximum number of 6 and 9

Share an example of running dash application in raspberry pie.

Install Jupiter notebook under Anaconda

Oneforall installation and use

Raspberry pie 4B installation opencv3.4.0

921. Minimum additions to make parentheses valid

1005. Maximized array sum after K negations

(POJ - 3579) median (two points)
随机推荐
第 300 场周赛 - 力扣(LeetCode)
1689. Ten - the minimum number of binary numbers
(lightoj - 1236) pairs forming LCM (prime unique decomposition theorem)
Codeforces Round #797 (Div. 3)无F
Anaconda下安装Jupyter notebook
Codeforces Round #800 (Div. 2)AC
Calculate the time difference
Raspberry pie 4B installation opencv3.4.0
分享一个在树莓派运行dash应用的实例。
Opencv learning log 28 -- detect the red cup cover
sublime text 代码格式化操作
Li Kou: the 81st biweekly match
(POJ - 3685) matrix (two sets and two parts)
日期加1天
Effet d'utilisation, déclenché lorsque les composants de la fonction sont montés et déchargés
原生js实现全选和反选的功能 --冯浩的博客
Classic application of stack -- bracket matching problem
Tree of life (tree DP)
Configuration du cadre flask loguru log Library
(POJ - 3186) treatments for the cows (interval DP)