腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2344964

阅读量

704

订阅数

0885-7.1.6-如何对CDP中的Hive元数据表进行调优

hive 数据分析 html 数据库 sql

作者：唐辉 1.文档编写目的在日常使用中，我们可以发现在hive元数据库中的TBL_COL_PRIVS，TBL_PRIVS 、PART_COL_STATS表相当大，部分特殊情况下NOTIFICATION_LOG也可能存在问题，如果集群中有关联的操作时会导致元数据库响应慢，从而影响整个Hive的性能，本文的主要目的通过对Hive 的元数据库部分表进行优化，来保障整个Hive 元数据库性能的稳定性。测试环境 1.CDP7.1.6 、启用Kerberos 2.元数据版本 MariaDB-5.5.60 2.问题

2022-08-26

2K0

2022年5月1日登罗浮山

展开 !function(){"use strict";var e=function(e,a){function t(e,a){var t=e.match(new RegExp(a+"\\s*

2022-05-05

2870

Apache Impala 4.0技术揭秘与最新进展

hadoop hive html sql apache

展开 !function(){"use strict";var e=function(e,a){function t(e,a){var t=e.match(new RegExp(a+"\\s*

2022-05-05

5820

0846-7.1.1-如何迁移HDP2.4中的Hive表到CDP7.1.1

单片机 hive hadoop html node.js

随着Hadoop 3.X 版本的发展，Hadoop 2.X 版本即将淘汰。我们当前面临着集群升级的问题，在升级过程中，即使使用迁移升级方式工作量非常大，但毫无疑问最稳妥的升级办法。在迁移的过程中，我们首先面对的就是本地的HDFS数据迁移和Hive 表数据迁移，本文主要讲述如何迁移HDP2.4.2 Hive 表和数据到CDP 7.1.1中。

2021-07-05

8550

0819-使用CDP7.1.3的Atlas采集CDH5.15.1的元数据和血缘

专用宿主机 jar html hive

基于以上框架，使用CDP的Atlas采集CDH5的元数据和血缘，理论上只需要将相应的Atlas Hook正确部署到CDH5对应的服务上即可。本文以采集Hive元数据和血缘为例，描述如何部署Atlas Hive Hook到CDH5上。

2020-12-14

1.9K0

0810-5.15.1-Impala执行invalidate metadata异常分析

html 数据库 sql jvm 专用宿主机

本文描述了对CDH集群Impala在执行invalidate metadata，出现“Error communicating with impalad: TSocket read 0 bytes”异常的分析过程和解决方法。

2020-09-04

2.3K0

0779-5.14.4-HMaster无法成为Active异常分析

hbase TDSQL MySQL 版网站 html

很久很久以前，有一天，我在HBase中新建了一张表 “XXX: XXX _EXCEPTION_LIST_INFO”，同时HBase在处理大量更新操作。然后在DROP掉表XXX: XXX_EXCEPTION_LIST_INFO时，HBase Master就宕机。

2020-06-04

2.5K0

0764-HDP Spark 2.3.2访问外部Hive 2的配置及验证

spark xml html hive hadoop

数据质量平台基于定义好的数据稽核和数据质量规则，生成Spark SQL并提交运行到HDP 3.1.5集群的Spark 2.3.2上。Spark 通过以下方式之一获取某Hadoop集群上Hive表的数据：

2020-04-26

3K0

快手 HBase 在千亿级用户特征数据分析中的应用与实践

hbase TDSQL MySQL 版编程算法 html

快手建设 HBase 差不多有2年时间，在公司里面有比较丰富的应用场景：如短视频的存储、IM、直播里评论 feed 流等场景。本次只分享其中的一个应用场景：快手 HBase 在千亿级用户特征数据分析中的应用与实践。为什么分享这个 Topic？主要原因：对于大部分公司来说，这都是一个普适的场景，因为很普遍，所以可选择的分析引擎也非常多，但是目前直接用 HBase 这种分析用户特征的比较少，希望通过今天的分享，大家在将来遇到这种场景时, 可以给大家提供一个新的解决方案。

2019-09-03

1.2K0

0655-6.2.0-CDH6.2安装Navigator无法访问异常分析

专用宿主机 html http 网站

在CDH6.2.0集群中安装好Navigator后，无法访问，浏览器显示如下报错：

2019-06-20

7750

0584-5.16.1-如何卸载CDSW1.5

https parcel 网络安全 html

Fayson在上一篇文章中介绍了如何将CDSW1.4.2升级到CDSW1.5，参考《0573-5.16.1-如何将CDSW从1.4.2升级到1.5》，期间还碰到了一个问题《0574-5.16.1-CDSW1.4升级1.5版本db-migrate镜像启动失败问题解决》，本文主要介绍如何卸载CDSW1.5。

2019-04-28

5370

0546-6.1-使用Cloudera Manager API启停组件说明

api 大数据专用宿主机 https html

CDH平台的使用过程中，部分用户会将Hadoop平台的管理功能（如：服务组件的启停操作等）集成到公司现有的平台中，本篇文章Fayson主要介绍如何通过Cloudera Manager API接口和curl命令远程的启动平台组件。

2019-03-07

1.4K0

什么是sparklyr

spark https 网络安全 html 机器学习

我们（RStudio Team）今天很高兴的宣布一个新的项目sparklyr（https://spark.rstudio.com），它是一个包，用来实现通过R连接Apache Spark。

2018-03-29

2.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态