首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

作者头像
Fayson
发布2021-07-28 15:31:38
1.5K0
发布2021-07-28 15:31:38
举报
文章被收录于专栏:Hadoop实操Hadoop实操

1.文档编写目的

使用DAS查看日之前,需要先知道DAS如何安装,参考《0853-7.1.6-如何在CDP集群上安装DAS》,本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。

  • 测试环境

1.集群是Cloudera Enterprise 7.3.1和Cloudera Runtime 7.1.6

2.系统均为RedHat 7.6

3.集群已启用 Kerberos

4.OpenLDAP 2.4.44-23.el7_9

2.安装Kerberos Windows客户端

为了能访问安全环境下的yarn页面,需要安装kerberos客户端。然后没有启用kerberos可以跳过此步骤。

下载地址http://web.mit.edu/kerberos/dist/#kfw-4.1

然后安装

一直下一步,选“Typical”,“No”。

安装完了Kerberos客户端会自动的在path里面加上了自己的目录,但是如果windows本地安装了Oracle JDK ,该JDK里面也带了一些 kinit, klist 等命令,所以需要把 Kberberos的环境变量调整得靠前一点,如图所示:

打开cmd或者powershell,如果是下图则为正确。

设置host,使Windows能通过host访问集群。

文件路径:C:\Windows\System32\drivers\etc\hosts

修改krb5.conf的配置

文件路径:C:\ProgramData\MIT\Kerberos5\krb5.ini

将Kerberos KDC所在主机的/etc/krb5.conf文件有选择的粘贴到windows的krb5.ini里面

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 default_realm = MACRO.COM

[realms]
MACRO.COM = {
 kdc = hadoop99.macro.com
 admin_server = hadoop99.macro.com
}

[domain_realm]
.hadoop99.macro.com = MACRO.COM
hadoop99.macro.com = MACRO.COM

2.1配置浏览器

目前只实现如何配置火狐Firefox浏览器,在火狐浏览器上访问Hadoop的Web UI。

谷歌+ mac-os-x参考:

https://superuser.com/questions/488095/google-chrome-on-mac-os-x-with-kerberos

打开浏览器,在地址栏输入about:config,如图所示:

点击我了解此风险继续,在搜索栏内,搜索network.negotiate-auth.trusted-uris,双击将其值修改为集群节点ip或主机名,注意:这里如果修改为主机名的话,到时候访问的话,就以主机名访问,ip的话会失效,不起作用。

搜索network.auth.use-sspi,将值改为false。

2.2Kerberos认证

我们可以双击打开我们的Kerberos客户端,点击Get Ticket。认证Kerberos主体,输入密码

也可以用cmd或者powershell。

3.获取作业application_id

进入DAS,执行作业或者找到历史作业。

找到需要查找的作业,点进详细信息。找到并复制application_id

4.查看日志

任务是在YARN里面跑的,所以去yarn的UI查看日志。访问地址是:http://cdp3.macro.com:8088/ui2/#/yarn-app/application_1623833159885_0004/logs

将地址和application_id替换即可。

选择需要查看的attempt、container、和日志类型即可查看日志。

另外还有一种方式是在集群节点中用yarn命令查看:

yarn logs -applicationId application_1623833159885_0004

还有一种方法是在yarn-site.xml中配置

<property>
      <name>yarn.nodemanager.remote-app-log-dir</name>
      <value>/app-logs</value>
</property>

然后,日志文件会保存在HDFS的/app-logs/hdfs/logs/application_id目录下。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-07-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.文档编写目的
  • 2.安装Kerberos Windows客户端
  • 3.获取作业application_id
  • 4.查看日志
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档