腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2344808

阅读量

704

订阅数

0884-7.1.6-如何在CDP中集成Hive on HBase

hbase TDSQL MySQL 版 hive 编程算法 xml

1.文档编写目的本篇文章主要介绍如何在Hive中集成HBase，将HBase表映射成Hive表，实现在beeline中查询或者修改HBase的表数据。测试环境 1.集群是Cloudera Enterprise 7.3.1和Cloudera Runtime 7.1.6 2.系统均为RedHat 7.6 3.集群已启用 Kerberos 4.OpenLADP 2.4.44-23.el7_9 2.配置HBase与Hive集成 1.登录CM，下载HBase的配置文件，解压后打开hbase-site.xml 2

2022-08-26

3720

0869-7.1.7-如何在CDP中使用Hive Bulkload批量导入数据到HBase

hbase TDSQL MySQL 版 hive jar java

1.文档编写目的在遇到将Hive中的数据同步到HBase时，一般都是通过在Hive中创建映射HBase的表，然后通过insert的方式来实现，在数据量小的时候，往往还能接受，但是如果是大批量数据，除了同步时间较长，往往还会对线上的HBase服务造成影响，因为这种方式底层还是调用的HBase的put API来实现的。为了提高HBase的数据写入，一般都会考虑使用bulkload的方式，而bulkload其实也有很多种选择： 1.编写MapReduce/Spark程序生成hfile文件，然后通过HBase命令

2022-03-04

9950

0864-7.1.6-如何跨CDP集群通过HBase快照迁移数据

hbase TDSQL MySQL 版大数据 kerberos 数据备份

该文档主要通过使用HBase快照导出历史全量数据并还原到新的HBase集群，然后改造源生的ExportSnapshot类，通过比较变化的文件实现导出增量，并最终实现HBase跨集群的增量备份和还原。

2021-11-02

8060

0812-7.1.3-如何使用Ranger给HBase授权

hbase TDSQL MySQL 版

在前面的文章中，Fayson介绍了《如何使用Ranger 给HDFS 授权》，基于前面的集群环境和已有的用户信息，本篇文章Fayson主要介绍如何使用Ranger 给HBase 授权。

2020-09-22

1.4K0

0793-5.16.2-如何迁移单个Zookeeper实例

迁移 hadoop zookeeper hbase TDSQL MySQL 版

随着集群规模的不断扩大，在对集群进行调整优化时。时常会考虑对集群的角色进行优化调整，这就会涉及到服务角色的迁移。本篇文章主要介绍如何将Zookeeper服务的单个实例从一个节点迁移到其他节点。

2020-08-03

1.2K0

0787-6.3.3-如何在本地集群安装Workload Experience Manager(WXM)

xml hbase TDSQL MySQL 版专用宿主机 hive

Workload XM是Cloudera现代数据平台以工作负载为中心的管理工具，可主动分析数据仓库、数据工程和机器学习环境的工作负载，提升应用程序性能，以及优化基础架构的容量配置。Workload XM与Cloudera Enterprise平台内的多种计算引擎进行交互，使用户能够全面了解各类性能指标，从而通过迭代模式进行自助服务。

2020-06-29

1.5K0

0783-6.2.0-如何在Hue中集成HBase

hbase api TDSQL MySQL 版

Fayson在前面介绍了《0635-5.16.1-Hue集成HBase出现Api Error异常分析》和《0647-6.1.1-Hue集成HBase出现Api Error异常分析(续)》文章中说明了C5和C6中Hue与HBase集成的异常分析。本篇文章Fayson主要如何在C6.2.0的安全环境下使用Hue访问HBase。

2020-06-17

1.5K0

0779-5.14.4-HMaster无法成为Active异常分析

hbase TDSQL MySQL 版网站 html

很久很久以前，有一天，我在HBase中新建了一张表 “XXX: XXX _EXCEPTION_LIST_INFO”，同时HBase在处理大量更新操作。然后在DROP掉表XXX: XXX_EXCEPTION_LIST_INFO时，HBase Master就宕机。

2020-06-04

2.5K0

0771-5.16.2-如何关闭Navigator的审计日志功能

hbase TDSQL MySQL 版 hive 大数据企业

CDH中的审计功能，可以对集群的操作进行记录，以便进行审计的时候进行查询。如果启用了Navigator，审计日志会聚合到Navigator中。但是当停止Navigator服务后，审计日志会落盘到本地，占用大量的磁盘空间。本文主要就如何关闭审计日志功能进行说明。

2020-05-16

1.4K0

0762-5.16.2-Impala查询HBase表字段顺序不正确异常分析

hive shell hbase TDSQL MySQL 版

按照官方文档在Hive中建表关联HBase，然后在Hue中用Impala查询，查询结果中字段的顺序与在Hive中的建表顺序不一致，Hue中使用Impala查询出来的字段顺序是按照字母排序的。

2020-04-24

6890

HBase 写吞吐场景资源消耗量化分析及优化

hbase TDSQL MySQL 版 javascript 大数据

HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。

2019-11-27

1.1K0

0713-6.2.0-HBase的Thrift Server启动问题

hbase TDSQL MySQL 版 SSL 证书 https

配置Hue集成HBase的过程中，添加角色实例HBase Thrift Server后，把HBase Thrift身份验证（hbase.thrift.security.qop）配置为auth-conf

2019-10-15

1.7K0

0712-6.2.0-HBase快照异常

专用宿主机 hbase TDSQL MySQL 版编程算法

这个问题是由于CDH6.2.0上在进行HBase Snapshot Restore的过程中，会先进行is_enabled的操作。但假如这个表是已经被drop掉的情况下，会报表不存在。这会导致我们在CDH6.2.0上无法进行下一步的restore的操作。

2019-10-11

5360

0693-6.2.0-如何将Hive数据导入HBase

hbase TDSQL MySQL 版 sql hive shell

在一些业务场景中需要将Hive的数据导入到HBase中，通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBase。

2019-09-03

2.1K0

快手 HBase 在千亿级用户特征数据分析中的应用与实践

hbase TDSQL MySQL 版编程算法 html

快手建设 HBase 差不多有2年时间，在公司里面有比较丰富的应用场景：如短视频的存储、IM、直播里评论 feed 流等场景。本次只分享其中的一个应用场景：快手 HBase 在千亿级用户特征数据分析中的应用与实践。为什么分享这个 Topic？主要原因：对于大部分公司来说，这都是一个普适的场景，因为很普遍，所以可选择的分析引擎也非常多，但是目前直接用 HBase 这种分析用户特征的比较少，希望通过今天的分享，大家在将来遇到这种场景时, 可以给大家提供一个新的解决方案。

2019-09-03

1.2K0

0676-5.16.2-Apache Phoenix for CDH

hbase TDSQL MySQL 版专用宿主机 apache nosql

今天，Cloudera正式宣布在CDH中支持Apache Phoenix，同时也会集成到未来的Cloudera Data Platform中。

2019-07-30

8550

0675-6.2.0-什么是HDFS分层存储

大数据存储归档存储 hbase TDSQL MySQL 版

CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在，您可以为DataNode数据目录指定不同的存储类型，这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据，可以存储在SSD中，而归档的数据可以存放在相对便宜的存储介质中。

2019-07-30

1.1K0

我是如何成为Apache Kudu committer & PMC的？

开源 apache hbase TDSQL MySQL 版 sql

米从2012年开始正式涉足开源，不光积极参与开源社区，修复bug，提交代码，同时逐渐将自研的系统或框架进行开源，先后开源了企业级、高可用、可扩展的监控系统Open-Falcon、分布式 Key-Value存储系统Pegasus、移动端深度学习框架MACE以及智能SQL优化与改写工具SOAR。

2019-06-25

3.3K0

0647-6.1.1-Hue集成HBase出现Api Error异常分析(续)

hbase TDSQL MySQL 版 hadoop 专用宿主机 github

Fayson在前面《0635-5.16.1-Hue集成HBase出现Api Error异常分析》文章中说明了在C5中Hue与HBase集成问题，本篇文章主要分析C6环境下进行异常。

2019-06-04

2K0

0635-5.16.1-Hue集成HBase出现Api Error异常分析

专用宿主机 hbase api TDSQL MySQL 版

2.回到Cloudera Manager上点击HBase服务，然后进入Thrift的配置页。

2019-05-21

1.4K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态