当前位置:网站首页>记录一次spark on yarn 任务报错 Operation category READ is not supported in state standby

记录一次spark on yarn 任务报错 Operation category READ is not supported in state standby

2022-07-01 21:45:00 健忘主义

根本原因

 Operation category READ is not supported in state standby

spark任务重checkpoint的hdfs路径把namenode写死了,hadoop namenode切换后就会报错.

过程中获得的其他知识

spark从hadoop配置中得到nn1,nn2两个namenode 他会一个个尝试 直到找到可用的,也就是说 如果第一次尝试的恰好是standby节点,那么就会显示该信息,但是并不会影响他继续尝试到正常的namenode节点.

但是 如果你写死ip在checkpoint中就会有问题.

原网站

版权声明
本文为[健忘主义]所创,转载请带上原文链接,感谢
https://yangyong.blog.csdn.net/article/details/125472278