2.集群未启用认证服务(如Kerberos或LDAP) 2.Sentry安装 ---- 1.在MySQL中创建sentry数据库 建表语句： create database sentry default...3.Sentry配置 3.1Hive配置 ---- 1.配置Hive使用Sentry服务 [59dv4ih8cm.jpeg] 2.关闭Hive的用户模拟功能 [zurr1lc8nh.jpeg] 3.集群未启用安全认证环境下...:10000> [hk5rspumc9.jpeg] 注意：标红部分为输入的hive用户，输入的hive用户并未真正的校验 2.创建一个admin角色 0: jdbc:hive2://localhost...6.备注 在使用beeline进行授权验证时，只是输入了username未做用户信息校验。在未启用认证服务的集群下，该文档的Sentry配置方式只适用于测试环境，不能用于生产环境。...:hive2://localhost:10000> [h18eqsbe9u.jpeg] 原因：由于集群未启用Kerberos，需要配置sentry.hive.testing.mode为true 解决方法
元数据包含用Hive创建的database、tabel等的元信息。 元数据存储在关系型数据库中。如Derby、MySQL等。...Beeline工作模式有两种，即本地嵌入模式和远程模式。嵌入模式情况下，它返回一个嵌入式的Hive（类似于hive CLI）。...connect jdbc:hive2://localhost:10000/default Connecting to jdbc:hive2://localhost:10000/default Enter...username for jdbc:hive2://localhost:10000/default: root Enter password for jdbc:hive2://localhost:10000...:hive2://localhost:10000/default> 默认用户名、密码不验证，可以随便输入。
connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@...CLOUDERA.COM scan complete in 2ms ... 0: jdbc:hive2://localhost:10000/> SELECT parse_date('2017-9-12...:hive2://localhost:10000/> 0: jdbc:hive2://localhost:10000/> 0: jdbc:hive2://localhost:10000/> 0:...jdbc:hive2://localhost:10000/> create temporary function parse_date as 'com.peach.date.DateUtils'; .....集群启用了Sentry服务，Hive创建函数时指定的是本地的jars，导致在Impala中无法直接使用Hive的函数，需要在Impala shell下重新创建。
在不安全的集群上启动 Hive 如果您想使用 Apache Hive 进行快速测试，您可以使用 Hive 默认授权模式来执行此操作，假设您位于不安全的集群上（没有 Kerberos 或 Ranger...默认授权模式下，只有用户hive可以访问Hive。启动 Hive shell 的步骤，不要与 CDP 不支持的 Hive CLI 混淆，包括如何登录到集群。...-u jdbc:hive2://localhost:10000 username password Connect using simple authentication to HiveServer2...Connect using SSL connection to HiveServer2 on localhost at 10000 beeline "jdbc:hive2://localhost:10000...简单的认证： beeline -u jdbc:hive2://10.65.13.98:10000 -n -p Kerberos： beeline -u "jdbc:hive2
，然后程序在spark集群运行的时候就会自动创建对应的元数据库。...3.启动spark-shell时指定mysql连接驱动位置 spark集群模式 bin/spark-shell \ --master spark://intsmaze:7077 \ --executor-memory...因为元数据库中只是存放表对应数据在hdfs的地址，并没有存放表的数据信息,spark sql可以创建表，但是无法向表中添加数据比如insert语句。注意与把DF数据存储到数据库不是一个概念。...connect jdbc:hive2://localhost:10000 连接后会提示输入用户名和密码，用户名可以填当前登陆的linux用户名，密码为空即可。 ?...在java代码中用jdbc连接 接下来打开eclipse用jdbc连接hiveserver2，连接hive的步骤同样如此。
2.创建测试库及外部表 ---- 使用hive用户登录Kerberos，并通过beeline登录HiveServer2 创建fayson数据库 0: jdbc:hive2://localhost:10000...:hive2://localhost:10000/> [2gbe9hkk3c.jpeg] 2.在fayson库下创建外部表student_hive，建表语句如下 create external table...0: jdbc:hive2://localhost:10000/> select * from student_hive; ......:hive2://localhost:10000/> 3.创建角色并授权 ---- 创建faysonall角色并授权给fayson用户组 授权fayson用户组拥有fayson库所有权限 create...0: jdbc:hive2://localhost:10000/> select * from student_hive; ...
2.CDH集群已部署Spark1.6且服务正常 ? 提交一个Spark作业测试Spark服务是否正常。...将Hive2 On Spark的Spark依赖包放在HDFS上，防止Yarn运行Spark作业时分发spark-assembly.jar包 3.修改hive-site.xml配置文件，在文件的末尾增加如下内容...Fayson这里可以使用hive2和hive2-server命令是因为在/etc/profile配置了命令的别名 alias hive2="nohup /opt/cloudera/HIVE2/bin/hive...connect jdbc:hive2://localhost:10000 hive hive 0: jdbc:hive2://localhost:10000> use test; 0: jdbc:hive2...://localhost:10000> set hive.execution.engine=spark; 0: jdbc:hive2://localhost:10000> select id,count
2.集群已启用Kerberos且正常使用 2.Sentry安装 ---- 1.在MySQL中创建sentry数据库 建表语句： create database sentry default character...0: jdbc:hive2://localhost:10000/> [c5gjo335ar.jpeg] 2.创建admin角色 0: jdbc:hive2://localhost:10000/> create...INFO : OK No rows affected (0.162 seconds) 0: jdbc:hive2://localhost:10000> [e2afn3cmra.jpeg] 以上操作创建了一个...HiveServer2，创建test表，并插入测试数据 0: jdbc:hive2://localhost:10000> create tabletest (s1 string, s2 string)...INFO : OK No rows affected (20.123 seconds) 0: jdbc:hive2://localhost:10000> [o4gz1mi2ph.jpeg] 4.3创建测试角色并将角色授权给用户组
@hadoop01 ~]$ beeline -u jdbc:hive2://localhost:10000 -n hive ... 0: jdbc:hive2://localhost:10000> select...:hive2://localhost:10000> 但是如果执行其他操作则会报错提示不支持该操作： 0: jdbc:hive2://localhost:10000> delete from test...，看看配置是否生效： [root@hadoop01 ~]# beeline -u jdbc:hive2://localhost:10000 -n root ... 0: jdbc:hive2://localhost...2 rows selected (0.026 seconds) 0: jdbc:hive2://localhost:10000> 测试授权操作： 0: jdbc:hive2://localhost:...:hive2://localhost:10000 -n hive ... 0: jdbc:hive2://localhost:10000> grant select on table partition_table
内容概述 1.配置HiveServer2与Zookeeper集成 2.Beeline测试 测试环境 1.CM和CDH版本为5.13.0 2.采用root用户操作 3.集群未启用Kerberos 前置条件...1.Hive版本必须高于0.14（含0.14） 2.修改Hive配置 ---- 1.登录CM，进入Hive服务，在HiveServer2中增加如下配置 hive.server2...3.Beeline测试 ---- HiveServer2注册Zookeeper后，JDBC连接的URL格式为： jdbc:hive2:///;ServiceDiscoveryMode...: Connected to ip-172-31-6-148.fayson.com:10000 ... 0: jdbc:hive2://ip-172-31-10-118.fayson.com:2> select...: Connected to ip-172-31-5-190.fayson.com:10000 0: jdbc:hive2://ip-172-31-10-118.fayson.com:2> select
connect jdbc:hive2://localhost:10000 scan complete in 2ms Connecting to jdbc:hive2://localhost:10000...Enter username for jdbc:hive2://localhost:10000: hive Enter password for jdbc:hive2://localhost:10000...isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://localhost:10000> select * from test; 0: jdbc...:hive2://localhost:10000> select count(*) from test; ?...集群启用了Sentry，需要注意的是禁用Kerberos后要在Hive中配置Sentry为testing mode模式。
-S,—silent 静默模式，很多内容忽略 -v,—verbose 显示更多的内容 ---- 三种配置方式 Hive-site.xml —hiveconf hive CLI 中进行set property...的客户端，分为两种模式 嵌入模式：一个嵌入的Hive 远程模式：通过thrift协议与单独的HiveServer2进程 beeline必须同时和hiveserver2同时使用 使用方法 启动hiveserver2...quit 连接数据库，一定要带上感叹号❕ !connect jdbc:hive2://localhost:10000/defautl 6....直接进入数据库中 $ $HIVE_HOME/bin/beeline -u jdbc:hive2://$HS2_HOST:$HS2_PORT 连接报错 先关闭Hadoop集群 /Users/peter/Downloads...Uri: jdbc:hive2://localhost:10000/default: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException
2.在自定义角色分配页面，为HMS服务选择安装的主机 ? 3.审核更改，单击“完成”。 ? 4.重启过时服务配置 ? 重启完成后，单击“完成” ?...connect jdbc:hive2://hadoop1.macro.com:10000 0: jdbc:hive2://hadoop1.macro.com:10000> CREATE TABLE HMS_test...2.查看Hive表，并执行SELECT查询 0: jdbc:hive2://hadoop1.macro.com:10000> show tables; ?...由上图可知，可以正常查看上一节创建的hms_test表 0: jdbc:hive2://hadoop1.macro.com:10000>select * from hms_test; ?...由上图可以看出，依然可以正常连接访问 3.查看Hive表 0: jdbc:hive2://hadoop1.macro.com:10000> show tables; ?
Connecting to jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-6-83.ap-southeast-1.compute.internal...) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://localhost:10000/> show tables; INFO...:hive2://localhost:10000/> ?...向test表中插入数据 0: jdbc:hive2://localhost:10000/> insert into t1 values('1','2'); 0: jdbc:hive2://localhost...执行一个Count语句 0: jdbc:hive2://localhost:10000/> select count(*) from t1; ?
，然后使用如下命令连接Hive： [root@hadoop01 ~]# beeline -u jdbc:hive2://localhost:10000 -n root Connecting to jdbc...中创建数据表示例： 0: jdbc:hive2://localhost:10000> create table hive_wordcount(context string); No rows affected...(0.122 seconds) 0: jdbc:hive2://localhost:10000> 如果创建表时报如下错误： Error: Error while processing statement...在Hive中查看已创建的表： 0: jdbc:hive2://localhost:10000> show tables; +-----------------+ | tab_name |...:hive2://localhost:10000> 在Hive中使用SQL实现词频统计（WordCount）的例子： 0: jdbc:hive2://localhost:10000> select word
connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-6-83.ap-southeast-1.compute.internal@FAYSON.COM...Connecting to jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-6-83.ap-southeast-1.compute.internal...) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://localhost:10000/> show tables;...向test表中插入数据 0: jdbc:hive2://localhost:10000/> insert into t1 values('1','2'); 0: jdbc:hive2://localhost...执行一个Count语句 0: jdbc:hive2://localhost:10000/> select count(*) from t1; （可左右滑动） ? ?
一旦在OpenLDAP中新建用户，需要保证集群的所有节点上都有这个用户，如果你没启用SSSD，则需要手动在所有节点的OS中创建该用户，否则无法执行Hadoop的MapReduce/Spark/Impala...connect jdbc:hive2://ip-172-31-21-83.ap-southeast-1.compute.internal:10000 Connecting to jdbc:hive2:/.../ip-172-31-21-83.ap-southeast-1.compute.internal:10000 Enter username for jdbc:hive2://ip-172-31-21-83...connect jdbc:hive2://ip-172-31-16-68.ap-southeast-1.compute.internal:10000 Enter username for jdbc:hive2...使用Kerberos账号登录ip-172-31-16-68，因为Fayson的集群启用了Hive的负载均衡并配置了Load Banlancer所以连接的是负载均衡所在的服务。 ?
Connecting to jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-6-83.ap-southeast-1.compute.internal...) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://localhost:10000/> show tables;...:hive2://localhost:10000/> ?...向test表中插入数据 0: jdbc:hive2://localhost:10000/> insert into t1 values('1','2'); 0: jdbc:hive2://localhost...执行一个Count语句 0: jdbc:hive2://localhost:10000/> select count(*) from t1; ?
connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-6-148.fayson.com@FAYSON.COM ... 0: jdbc...INFO : OK No rows affected (0.183 seconds) 0: jdbc:hive2://localhost:10000/> grant select(s1) on table...INFO : OK No rows affected (0.105 seconds) 0: jdbc:hive2://localhost:10000/> grant role columnread to...isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://localhost:10000/> show databases; ......:hive2://localhost:10000/> show tables; ...
命令行下，将数据load到student表 0: jdbc:hive2://localhost:10000/> load data inpath '/tmp/student' into table student...:hive2://localhost:10000/> [ho8pqzn0f0.jpeg] 执行完load命令后，查看表数据 0: jdbc:hive2://localhost:10000/> select...:hive2://localhost:10000/> [mihqflhcmn.jpeg] 4.使用fayson用户在beeline和impala-shell查看 使用fayson用户的principal...5.为fayson用户赋予student表读权限 注：以下操作均在hive管理员用户下操作 1.创建student_read角色 0: jdbc:hive2://localhost:10000/> create...角色授权给fayson用户组 0: jdbc:hive2://localhost:10000/> grant role student_read to group fayson; ...
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
