当前位置:网站首页>Spark独立集群动态上线下线Worker节点
Spark独立集群动态上线下线Worker节点
2022-07-06 09:29:00 【若苗瞬】
(一)下线Worker节点
我的操作:关机就是了……
反正工作自然会交给其它节点做的。
当然其实应该这样,登录到需要下线的节点主机:
执行脚本关闭本机Worker:
$> $SPARK_HOME/sbin/stop-worker.sh
注意还有一个stop-workers.sh
,是用来关闭全部Worker的,别搞错了。
看清楚多一个s!!!
如果你在Master上不小心执行了这个多个S的脚本(Master到所有Worker一定都配置了ssh密钥登录),
那么就全关完了……
关机前:
关机后:
过一段时间DEAD的Worker就会消失(集群总要留点时间看它能不能重新连接嘛)。
.
(二)上线Worker节点
登录到需要上线的节点主机:
执行脚本启动本机Worker,并连接到Spark Master:
$> $SPARK_HOME/sbin/start-worker.sh spark://vm00:7077
注意还有一个start-workers.sh
脚本。区别同上。
最后,如果是一个新的Worker,别忘了在$SPARK_CONF_DIR
里面编辑workers
(或slaves
)。
加入新Worker的主机名,方便下次集群全部一起启动。
对了,新启动的Worker有新的ID。
呃……完。
边栏推荐
- Li Kou: the 81st biweekly match
- Research Report on market supply and demand and strategy of double drum magnetic separator industry in China
- Codeforces Round #799 (Div. 4)A~H
- Codeforces Round #803 (Div. 2)A~C
- 生成随机密码/验证码
- 分享一个在树莓派运行dash应用的实例。
- (lightoj - 1236) pairs forming LCM (prime unique decomposition theorem)
- js封装数组反转的方法--冯浩的博客
- Share an example of running dash application in raspberry pie.
- sublime text 代码格式化操作
猜你喜欢
随机推荐
Kubernetes集群部署
Problem - 922D、Robot Vacuum Cleaner - Codeforces
软通乐学-js求字符串中字符串当中那个字符出现的次数多 -冯浩的博客
Openwrt build Hello ipk
AcWing:第58场周赛
It is forbidden to trigger onchange in antd upload beforeupload
Install Jupiter notebook under Anaconda
Research Report on market supply and demand and strategy of double drum magnetic separator industry in China
antd upload beforeUpload中禁止触发onchange
QNetworkAccessManager实现ftp功能总结
AcWing:第56场周赛
Classic application of stack -- bracket matching problem
pytorch提取骨架(可微)
(lightoj - 1354) IP checking (Analog)
(POJ - 3186) treatments for the cows (interval DP)
Acwing: the 56th weekly match
What is the difficulty of programming?
Useeffect, triggered when function components are mounted and unloaded
921. Minimum additions to make parentheses valid
(POJ - 3685) matrix (two sets and two parts)