首页
学习
活动
专区
工具
TVP
发布

Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏作者
964
文章
2345911
阅读量
704
订阅数
0841-7.1.6-Aqua Data Studio工具安装及访问安全环境的Hive和Impala
Aqua Data Studio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,编辑和执行 SQL 的管理工具脚本编写,以及浏览和修改数据库组织。对所有主要关系的数据库提供一个一致的界面。这准许数据库主管或者开发者从一个应用程序同时地处理多个的任务。本篇文章主要介绍如何安装 Aqua Data Studio及访问安全环境下的Hive和Impala。
Fayson
2021-07-05
1K0
0840-6.3.4-Aqua Data Studio工具安装及访问安全环境的Hive和Impala
Aqua Data Studio是一款完整IDE的数据库开发工具,它提供3种主要功能:数据查询与管理工具。比对数据工具与源控制和文件系统的整合工具。帮助你创建,编辑和执行 SQL 的管理工具脚本编写,以及浏览和修改数据库组织。对所有主要关系的数据库提供一个一致的界面。这准许数据库主管或者开发者从一个应用程序同时地处理多个的任务。本篇文章主要介绍如何安装 Aqua Data Studio及访问安全环境下的Hive和Impala。
Fayson
2021-07-05
1K0
0837-使用Knox代理连接开启Kerberos认证的Impala
在 ODBC and JDBC Drivers(ODBC 和 JDBC 驱动程序)下,选择适合系统环境的 hive 或 Impala 的ODBC驱动程序下载,注意不是JDBC
Fayson
2021-04-30
1.4K0
0828-7.1.4-如何在CDP中通过Livy Thrift Server来提交Spark SQL作业
为什么CDH甚至最新的CDP中对于Spark SQL CLI或者JDBC/ODBC没有提供基于Spark Thrift Server的支持,参考Fayson之前的文章《0827-7.1.4-如何在CDP中使用Spark SQL CLI》,在CDP中,Cloudera给出了新的解决方案Livy Thrift Server,它是对Spark Thrift Server的增强,支持JDBC/Thrift Server,安全与容错。通过Hive Warehouse Connector(HWC),支持Spark SQL访问Hive3的内表,同时然Spark SQL支持基于Ranger的细粒度授权。本文主要介绍如何在CDP中通过Livy Thrift Server来提交Spark SQL作业。
Fayson
2021-01-26
3.5K1
0788-7.1.1-CDP安装SMM服务启动异常
在CDP7.1.1的安装过程中,添加SMM组件后,配置完数据库信息,启动服务过程中,提示启动Streams Messaging Manager Rest Admin Server角色失败。如下图:
Fayson
2020-07-14
8330
0505-使用Apache Hive3实现跨数据库的联邦查询
如今的企业内部一般都有多个系统用于数据存储和数据处理。这些不同的系统各自服务于不同的应用场景或案例。除了传统的RDBMS如Oracle DB,Teradata或PostgreSQL之外,团队可能还使用了Apache Kafka用作流式处理,使用Apache Druid来保存时序数据,使用Apache Phoenix进行快速索引查找。此外,他们可能还使用了云存储服务或HDFS来批量存储数据。
Fayson
2019-11-28
1.5K0
0557-6.1.0-Kerberos环境下SQL客户端DBeaver配置异常分析
参考Fayson前面的文章《0469-如何使用DBeaver访问Kerberos环境下的Impala》,环境变量也配置了,krb5.conf文件也准备好了,但在使用SQL客户端攻击DBeaver访问Kerberos环境下的Impala时总是提示“Unable to connect server:GSSinitiate failed”异常。本篇文章主要详细的介绍在Window客户端使用DBeaver访问Kerberos环境下的Impala配置异常分析及处理过程。
Fayson
2019-11-28
1.3K0
0498-Hue Sqoop1的编辑器中执行Sqoop作业失败问题分析
Hue做为Hadoop平台的一款UI工具,提供了丰富的功能。可以通过Hue访问Hadoop的文件系统、Hive、Impala、HBase、Solr、Sqoop等。集成了Oozie实现界面化工作流调度流程,同样也可以集成第三方APP及SQL等。本篇文章Fayson主要介绍在使用Hue提供的Sqoop1编辑功能执行Sqoop作业异常问题分析。
Fayson
2019-11-27
1.3K0
0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift
Fayson在前面的文章中介绍过什么是Spark Thrift,Spark Thrift的缺陷,以及Spark Thrift在CDH5中的使用情况,参考《0643-Spark SQL Thrift简介》。
Fayson
2019-05-31
3.4K2
0469-如何使用DBeaver访问Kerberos环境下的Impala
在前面Fayson的文章《Hadoop SQL客户端工具之Dbeaver安装及使用》和《0468-如何使用DBeaver访问Kerberos环境下的Hive》。本篇文章Fayson主要介绍如何使用DBeaver访问Kerberos环境下的Impala。
Fayson
2018-12-24
2.2K0
Hadoop SQL客户端工具之Dbeaver安装及使用
最近热心网友推荐了很多Hadoop平台的SQL客户端工具,Fayson在前面的文章《0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)》、《0463-如何使用SQuirreL通过JDBC连接CDH的Hive(方式二)》和《0465-如何使用SQuirreL访问Kerberos环境下的Hive》,简单的介绍了SQuirreL SQL Client的安装、注册Hive Driver以及使用。本篇文章Fayson主要介绍另外一款工具DBeaver的安装及使用。
Fayson
2018-12-21
3.1K0
聊聊个人对安装部署CDH集群前置准备的理解
这一步可以参考我之前写的文章《如何在HP dl380 Gen9服务器上安装Redhat 7.2并配置软RAID》、《如何为Hadoop集群服务器绑定双万兆网卡》
Fayson
2018-09-29
1.3K0
Python3通过JDBC访问非Kerberos环境的Impala
在前面Fayson介绍了在Python2的环境下《如何使用Python Impyla客户端连接Hive和Impala》及《Python3环境通过JDBC访问非Kerberos环境的Hive》,本篇文章Fayson在Python3的环境下使用Impyla访问非Kerberos环境下的Impala以及将获取到的结果集转换为Pandas的DataFrame。
Fayson
2018-08-03
1.2K0
如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡
前面Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》,本文主要介绍如何使用HAProxy实现Kerberos环境下HiveServer2的负载均衡。
Fayson
2018-03-29
1.5K0
使用Java代码通过JDBC连接只启用Sentry的Impala异常分析
在使用Java代码访问只启用了Sentry的Impala集群,即集群未启用认证比如LDAP或者Kerberos,会出现获取JDBC连接hang死的现象,具体示例代码如下:
Fayson
2018-03-29
1.6K0
如何使用Java访问集成OpenLDAP并启用Sentry的Impala和Hive
在前面的文章Fayson介绍了《如何使用java代码通过JDBC连接Hive(附github源码)》和《如何使用java代码通过JDBC连接Impala(附Github源码)》,本篇文章主要介绍在集群集成了OpenLDAP和启用了Sentry后使用Java通过JDBC访问的区别以及在beeline命令行如何访问。
Fayson
2018-03-29
2.2K0
如何使用java代码通过JDBC访问Sentry环境下的Hive
在前面的文章Fayson介绍了《如何使用java代码通过JDBC连接Hive(附github源码)》、《如何使用java代码通过JDBC连接Impala(附Github源码)》和《如何使用Java访问集成OpenLDAP并启用Sentry的Impala和Hive》,关于Hive和Impala如何启用Sentry可以参考Fayson前面的文章《如何在CDH启用Kerberos的情况下安装及使用Sentry(一)》,《如何在CDH启用Kerberos的情况下安装及使用Sentry(二)》和《如何在CDH未启用认证的情况下安装及使用Sentry》,在集群只启用了Sentry的情况下如何访问?本篇文章主要介绍在集群只启用了Sentry后使用Java通过JDBC访问的区别以及在beeline命令行如何访问。
Fayson
2018-03-29
2.3K0
如何使用HAProxy实现Kerberos环境下的Impala负载均衡
前面Fayson介绍过《如何使用HAProxy实现Impala的负载均衡》,在Kerberos环境HAProxy的配置与非Kerberos环境下是一样的,只是在Impala的配置上需要做一些修改,接下来本篇文件主要讲述如何在Kerberos环境下使用HAProxy实现Impala的负载均衡。
Fayson
2018-03-29
1.6K0
如何在Kerberos的Linux上安装及配置Impala的ODBC驱动
Impala提供了多种访问方式如impala-shell、beeline、JDBC以及ODBC等方式,关于beeline、JDBC的连接方式可以参考Fayson前面的文章《如何使用java代码通过JDBC连接Impala(附Github源码)》和《如何使用Beeline连接Impala》,本篇文章主要介绍如何在Linux上安装及配置Impala ODBC驱动。学习本章知识前你还需要知道《如何使用HAProxy实现Kerberos环境下的Impala负载均衡》和《如何使用HAProxy实现Impala的负载均衡》。
Fayson
2018-03-29
2.9K0
如何使用java代码通过JDBC连接Impala(附Github源码)
访问Impala的方式很多(如:impala-shell、ODBC、JDBC、Beeline),也可以通过Hue的来访问。关于Beeline方式连接Impala可以参考前面的《如何使用Beeline连接Impala》,本篇文章主要讲述如何使用JAVA代码通过JDBC的方式连接Kerberos和非Kerberos环境下的Impala。
Fayson
2018-03-29
6.7K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档