当前位置:网站首页>Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法

2022-07-07 21:44:00 51CTO

问题描述:

yarn开启ACL用户认证之后,日志只有在任务执行的时候能看到,SPARK任务跑完之后,在去看日志报User[yarn] is not authorized to view the logs for container的提示

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法_解决方案

解决方案:

      
      
主要是原因是我开启sentry认证之后,资源池的队列用ACL进行了管理,提交的时候都是以hive用户来提交的,在ACL中只加了root忘记加hive
和yarn,导到任务执行完之后,历史的日志是从本地转存到了HDFS,无权限进行访问导致的。
解决方案:
管理 ACL:yarn.admin.acl如入如下用户:
admin,root,hive,yarn,hdfs,spark,impala,tools
保存后重启Yarn服务即可。
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法_hdfs_02

然后就可以正常的看历史日志了。

Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法_hdfs_03

原网站

版权声明
本文为[51CTO]所创,转载请带上原文链接,感谢
https://blog.51cto.com/wang/5451514