基础命令 进入根目录 cd / 新建用户 useradd name 切换用户 su name 设置用户密码 passwd name 创建目录 mkdir dirname 目录删除(强制) rm (-rf
测试环境 1.RedHat7.3 2.CDH5.16.1 2 问题描述 Fayson通过一段简单的shell脚本示例代码说明问题，在代码中执行kinit命令初始化Kerberos信息，通过hadoop命令去统计各自用户目录下子目录大小...通过两个脚本输出的日志可以看到a_fayson.log中kinit的是fayson用户，但在执行hadoop命令的时候显示的为cdhadmin，此时Principal账号串掉导致命令执行失败。...5 解决方法二 在脚本中使用了C shell（csh）命令，C shell是一个交互式命令解释器和一种编程语言，采用的语法类型于C编程语言。...在C shell中我们可以指定KRB5CCNAME环境变量，具体实现方式如下： 1.在OS命令行执行如下命令安装csh命令 [root@cdh4 shell-test]# yum -y install...4.本篇文章中主要讲述了shell脚本的两种实现方式一种在脚本中使用export的方式指定环境变量，一种使用C shell命令通过setenv方式指定。
4.命令行下初始化 ? 在客户端可以看到初始化成功的Ticket ? 5.命令行下kdestroy ? 客户端数据已kdestroy ?...测试成功 2.将生成的keytab文件拷贝到本地Windows环境，进行kinit测试 ? 初始化成功，在客户端查看 ?...2.在生成keytab文件时需要加上”-norandkey”参数，否则会导致kinit时密码错误。...3.在Windows本地安装了Java环境后，由于Java里也有kinit、klist等命令，所以需要在Path环境变量里面，将Kerberos的环境变量位置调整到Java环境变量的前面，保证在Windows...本地使用的kinit、klist等命令是使用的Kerberos的命令，否则就会导致命令冲突，如下图，将Kerberos的环境变量调整到最前面即可。
当前用户是非root用户或在其它机器上操作 我们选择一台Kerberos从节点上访问Kerberos数据库，先使用kinit进行身份认证： kinit admin/admin # 需要输入密码，密码是你之前创建...就和之前的命令一样了，这里就不贴图和赘述了。...在当前用户是非root用户或在其它机器上操作时，需要先使用kinit命令认证，然后再使用kadmin命令来访问数据库，这里总共需要输入两次密码。...五、kinit认证 这里采用的是在shell终端上使用命令行进行用户认证的方案。集群内所有的节点均可使用以下命令。...这时候lyz用户虽然已被认证，但是由于HBase自身还有权限控制，所以还不能执行hbase shell操作，需要使用grant命令对lyz用户进行授权。
HDP WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.securi kinit...: Exception encountered while connecting to the server : org.apache.hadoop.securi KERBEROS安装完以后hdfs命令不能正常使用...blog.csdn.net/walykyy/article/details/108407868 https://www.cnblogs.com/tommyjiang/p/15008787.html kinit...报错 创建keytab不同用户，即便密码相同，也不可共用同一个keytab文件 [root@xxx]# kinit -kt yarn.keytab hdfs@HADOOP.COM kinit: Keytab...可能导致问题: 6.x主机上kinit获取principal失败。 cloudera服务refresh异常(出现在6.x主机上),报错是kinit 认证失败。
ds、bind、kerberos等核心软件包，形成一个以389-ds（ldap）为数据存储后端，kerberos为验证前端，bind为主机识别，apache+tomcat提供的一个web管理界面，统一的命令行管理界面的身份识别系统...接下来，获得一个kerberos的登录票据（具有时效性，默认10小时），用于登录web界面和其他管理命令 运行命令 kinit admin 输入密码 查看票据，klist 修改默认shell,默认为...--mkhomedir --enable-dns-updates --no-ntp -p admin 服务端会默认将客户端主机名（FQDN）解析成当前的IP地址 手动在服务器端加入客户端解析方法 kinit...admin ipa user-mod user01 --password 用户密码失败后解锁 kinit admin ipa user-unlock user01 删除用户 ipa user-del...常见错误 ipa error no credentials cache found 没有打开ticket，解决办法kinit admin
3.Hive表授权测试 ---- 1.使用Beeline连接Spark ThriftServer [root@cdh01 ~]# kinit fayson [root@cdh01 ~]# klist...2.使用spark-sql客户端测试 [root@cdh03 ~]# kinit fayson Password for fayson@FAYSON.COM: [root@cdh03 ~]# /opt...而spark-sql与HiveCLI访问Hive模式一样，都是跳过HiveServer2服务直接访问的HiveMetastore，所以通过spark-sql可以正确获取到kinit的用户。...1.在 Spark ThriftServer的启动命令中增加Hive的参数 ....因为Spark SQL CLI可以直接获取到正确的kinit用户，所以Spark SQL命令行的表权限一样可以通过HDFS的文件权限来控制。Fayson在上面省略的测试部分。
安装完了Kerberos客户端会自动的在path里面加上了自己的目录，但是如果windows本地安装了Oracle JDK ，该JDK里面也带了一些 kinit, klist 等命令，所以需要把 Kberberos...也可以在windows命令行内执行 第二种认证方式 也分两种情况，一种是服务自带的keytab，一种是我们手动生成的keytab。...实例： 我们先创建lyz@XDATA.COM的keytab文件，命令如下： cd /etc/security/keytabs kadmin.local ktadd -norandkey -k lyz@keytab...Kebreros通过keytab的方式来认证Kerberos主体，假设我们不知道keytab对应的是哪个Kerberos主体，那么我们可以使用klist -kte命令来查看keytab，然后在使用kinit...命令认证，如下图所示： 注意： 上面的kinit认证，只需要认证成功一种就可以任意访问Hadoop所有服务了，上面只是针对kinit的命令选择进行了罗列。
3.通过执行脚本中的命令，来生成一个keytab文件进行测试，操作命令如下： ktutil addent -password -p cloudera-scm/admin -k 1 -e rc4-hmac...wkt cloudera.keyrab kinit -kt cloudera.keytab cloudera-scm/admin ?...4.使用同样的命，更改加密类型生成keytab文件进行测试，生成的keytab可以正常的kinit ktutil addent -password -p cloudera-scm/admin -k 1...-e aes256-cts wkt cloudera.keyrab kinit -kt cloudera.keytab cloudera-scm/admin 通过该操作，进一步的确认了是加密类型导致的问题
通过kinit 生成 ccache_file或者keytab_file 6...., host, port, sso_ticket=None): try: hdfs_url = 'http://' + host + ':' + port active_str = 'kinit...self.conn.cursor() except Exception as e: raise e 总结 我在做的时候也遇到很多坑，其实在这个需要理解其中原理，比如kerberos的机制和对应命令...用多用户切换的情况，建议不要用python，因为一点都不友好，官方包问题很多，我都改用java的jdbc去操作hdfs和hive了 如果只是自己测试和和做算法研究，还是可以用的，因为这个代码简单，容易实现 补充 kinit...命令 kinit -kt xxxx.keytab #激活xxxx用户当前缓存 kinit list #查看当前缓存用户 以上这篇python3.6.5基于kerberos认证的hive和hdfs
cdhproject 提示：代码块部分可以左右滑动查看噢 1 文档编写目的 在集群启用Kerberos后，使用同一个OS用户在客户端并发调度Python代码获取Hive数据（代码中使用不同的kerberos用户kinit...测试环境 1.CDH5.15.0 2.Redhat7.3 3.集群已启用Kerberos 2 问题描述 Fayson通过一段简单的示例代码说明问题，在代码中执行kinit命令初始化Kerberos信息，...通过impyla包访问Hive，具体代码如下： from impala.dbapi import connect import os os.system('kinit -k -t /data/disk1...2.由于上述的两个脚本是在同一个OS用户下，所以两个不同的Kerberos用户在进行Kinit操作后都会覆盖/tmp/krb5cc_{uid}文件 ?...2.如果在同一个OS用户下使用不同的Kerberos用户进行kinit会覆盖/tmp/krb5cc_{uid}文件，从而导致应用中的票据信息串掉。
检查Kerberos正常运行 kinit admin/admin 9....Kerberos使用 常用命令： kinit admin/admin@EXAMPLE.COM # 初始化证书 klist # 查看当前证书 kadmin.local -q "list_principals...增删改查账户 在管理员的状态下使用addprinc,delprinc,modprinc,listprincs命令。使用?可以列出所有的命令。...生成keytab:使用xst命令或者ktadd命令 [root@cdh-node-1 /]# kadmin:xst -k /xxx/xxx/kerberos.keytab hdfs/hadoop1 5.2...认证用户 [root@cdh-node-2 /]# kinit -kt /xx/xx/kerberos.keytab hdfs/hadoop1 3.
无kerberos的Impala集群连接 连接不带认证的集群非常简单，我们直接按照官方的教程做就可以了，直接执行如下命令从官方仓库拉取镜像到本地： docker pull gethue/hue:latest...请注意，这里连接的是不带kerberos认证的impala集群，然后通过如下命令启动： docker run -it -p 9999:8888 \ -v /home/impala/hue/hue.ini...mysql host=mysql_host port=3306 user=hue password=xxx name=hue_docker_test 重新使用上述docker run命令启动...我们使用如下的命令下载并编译代码： git clone ssh://git@g.hz.netease.com:22222/datawarehouse/impala-project/hue.git cd...然后我们就可以通过如下命令来启动hue服务了： docker run -it -p 9999:8888 \ -v /home/impala/hue/hue.ini.kerberos:/usr/share
2.在命令行执行如下命令安装python包 [root@cdh1 python_code]# /opt/cloudera/anaconda3/bin/pip3 install -r requirements.txt...2.在命令行进行kinit操作 ?...3.使用python命令运行impyla_hive.py文件 [root@cdh1 python_code]# /opt/cloudera/anaconda3/bin/python impyla_hive.py...2.在命令行进行kinit操作 ?...3.在命令行进行kinit操作 [root@cdh1 python_code]# /opt/cloudera/anaconda3/bin/python impyla_impala.py ?
用户环境引用的策略/票证缓存文件丢失、不可读（权限）、损坏或无效 票证续签寿命设置为零 票证授予票证（TGT）不存在，因为服务A需要将命令作为服务B运行，但尚未正确配置为允许模拟服务B 票证更新尚未执行...如果在kinit命令中未指定，则生存期将从krb5.conf中获取，如果不存在renew_lifetime，则生存期默认为零。 您的KDC上的krbtgt服务Principal的更新生命周期为0。...以具有执行所需命令权限的用户身份运行kinit 更新JDK。...请参阅以下知识文章： 运行Oozie CLI命令以通过负载均衡器连接到Oozie服务器会出现身份验证错误 多宿主Kerberized（AD）群集 确保将可选值[domain_realm]设置为将主机映射到正确的域...每个服务器上的命令getent hosts都必须以小写形式解析该主机。 确认Principal存在于KDC中，并在必要时生成。如果使用AD，则仅配置和查询单个AD实例。
2.在Windows下使用kinit测试。 3.通过keytab在Windows下进行kinit操作。 4.配置FireFox。 5.验证服务是否正常访问。...[ufxm9ife9w.png] 在客户端可以看到初始化成功的Ticket [yfwmnp8fxs.jpeg] 5.命令行下kdestroy [7cwjxos39y.png] 客户端数据已destroy...jpeg] 再次访问成功 [ev8wn7hsg7.jpeg] 5 keytab合并及使用 1.将需要合并的keytab文件统一的放在同一个目录下 [zgnanodl12.jpeg] 2.使用ktutil命令合并...---| 在当前目录下生成test-new.keytab文件 [pkcvz5xpff.jpeg] 注意：由于生成的keytab文件权限默认为600，如果非root用户则需要使用sudo执行ktutil命令或者提升...该凭证报密码错误 在生成keytab文件时需要加参数”-norandkey”否则会导致直接使用kinit test@CLOUDERA.com直接初始化时会提示密码错误。
Kerberos，Token）和不安全的集群访问 支持HA集群并兼容节点故障转移 支持json格式配置集群 支持在python shell上进行交互式访问HDFS 支持HDFS联邦 支持并发上传和下载 1.在命令行执行如下命令安装...3 Pywhdfs命令行使用 pywhdfs支持在命令行通过WebHDFS进行交互式的访问及操作HDFS，pywhdfs命令行访问HDFS通过json文件来定义集群的配置信息，默认的配置文件在~/ .webhdfs.cfg...注意：name和urls两个属性，name属性在命令行运行时需要指定，否则会报错。...2.在命令行运行如下命令进入python shell交互式界面 [root@cdh05 python_code]# kinit hiveadmin@FAYSON.COM [root@cdh05 python_code...2.在命令行执行如下命令运行python_hdfs.py文件 [root@cdh05 python_code]# kinit hiveadmin [root@cdh05 python_code]# /opt
github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.问题描述 ---- 在CDH集群中Zookeeper已启用Kerberos服务，在命令行为使用...Kerberos账号进行Kinit操作，使用zookeeper-client登录后仍然可以进行创建znode和删除znode，并且可以删除其它有服务的Znode，具体操作如下： [root@ip-172...在Zookeeper-client命令行执行命令创建、浏览、查看及删除znode操作 create /zk-test-anyone data ls /zk-test-anyone getAcl /zk-test-anyone...在不使用Kerberos账号Kinit的前提下，直接使用Zookeeper-client访问Zookeeper [root@ip-172-31-30-69 ~]# klist klist: No credentials...在启用Kerberos环境下的ZooKeeper，如果需要删除服务（如：hive、hbase、hdfs等）注册信息时，需要先获取到该目录的ACL权限，根据ACL权限使用不同服务的keytab文件kinit
对于命令行工具，比如kafka-console-consumer 或 kafka-console-producer，kinit连同 “useTicketCache=true”使用，如： KafkaClient...等待“生成凭据”命令完成 在 Cloudera Manager 中为任何服务启用安全保护之后，将自动触发称为“生成凭据”的命令。您可以在显示正在运行的命令的屏幕右上角看到该命令的进度。...请等待此命令完成（通过内含“0”的灰色框表示）。 11....要作为 hdfs 超级用户运行命令，您必须为 hdfs 主体获取 Kerberos 凭据。...要执行此操作，请运行以下命令并提供密码： root@cdh01 ~ > # kinit hdfs@CDH.AI.COM
hdfs用户默认对所有目录有所有权限，同时可以执行HDFS相关的管理员命令比如让HDFS进入安全模式。...测试环境 1.CDH6.1 2.Redhat7.4 3.集群已启用Kerberos 2 配置方法 1.使用普通用户fayson登录Kerberos [root@ip-172-31-6-83 ~]# kinit...2.执行以下命令 [root@ip-172-31-6-83 ~]# hdfs dfsadmin -report ?...-6-83 ~]# cd /var/run/cloudera-scm-agent/process [root@ip-172-31-6-83 987-hdfs-NAMENODE-nnRpcWait]# kinit...[root@ip-172-31-6-83 987-hdfs-NAMENODE-nnRpcWait]# kinit fayson [root@ip-172-31-6-83 987-hdfs-NAMENODE-nnRpcWait
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
