Hadoop实操-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏成员

974

文章

2437374

阅读量

707

订阅数

0917-7.1.9-如何在CDP中使用H2安装YARN Queue Manager

数据库 yarn h2 queue 服务

CDP中的YARN Queue Manager是一个单独的服务，用来管理Capacity Scheduler配置，同时包含一个UI界面方便Hadoop管理员在全局或者队列级别创建、配置和管理YARN队列。在CDP Base 7.1.8之前YARN Queue Manager一直使用内置的H2内存数据库，安装比较简单，但是在CDP Base 7.1.9和7.1.9 CHF1这两个版本中，用户必须将YARN Queue Manager配置到一个外部的PostgreSQL数据库，给用户带来了困惑和不方便，尤其对于想要从CDP Base 7.1.7升级上来的用户。Cloudera在7.1.9 CHF2紧急修复了该问题，让YARN Queue Manager的安装与以前一致。但在实际安装过程中还有一些限制，本文主要介绍如何在CDP Base 7.1.9 CHF2+版本中继续使用H2内置数据库。

2024-04-12

1730

0916-5.16.2-如何将Hive元数据库从外部PostgreSQL转换到MySQL

postgresql hive mysql 数据数据库

2.停止Hive服务，在配置中搜索“database”，修改数据库配置到MySQL库

2024-04-11

1630

0914-7.1.7-如何用Doris创建Hive和Iceberg Catalog

数据库 hive 连接数据异常

Doris支持多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。Multi-Catalog 功能在原有的元数据层级上，新增一层Catalog，构成 Catalog -> Database -> Table 的三层元数据层级。其中，Catalog 可以直接对应到外部数据目录。目前支持的外部数据目录包括：Apache Hive， Apache Iceberg 以及标准的JDBC接口(如MySQL)等

2024-04-10

7780

0901-安装Python3.8

数据库 anaconda sql 云数据库 SQL Server parcel

CDP7.1.8及更高版本中Hue使用Python3环境，因此必须在集群的所有节点安装Python3.8。同时还必须为PostgreSQL、MySQL或MariaDB数据库安装相应的驱动包，确保Hue通过驱动包可以正常的访问数据库，如下操作步骤主要基于CentOS7版本：

2022-12-14

8650

0885-7.1.6-如何对CDP中的Hive元数据表进行调优

hive 数据分析 html 数据库 sql

作者：唐辉 1.文档编写目的在日常使用中，我们可以发现在hive元数据库中的TBL_COL_PRIVS，TBL_PRIVS 、PART_COL_STATS表相当大，部分特殊情况下NOTIFICATION_LOG也可能存在问题，如果集群中有关联的操作时会导致元数据库响应慢，从而影响整个Hive的性能，本文的主要目的通过对Hive 的元数据库部分表进行优化，来保障整个Hive 元数据库性能的稳定性。测试环境 1.CDP7.1.6 、启用Kerberos 2.元数据版本 MariaDB-5.5.60 2.问题

2022-08-26

2.3K0

0875-7.1.7-如何在CentOS7.9中安装CDP Base

专用宿主机 jdk ntp http 数据库

1.文档编写目的本文档Fayson主要描述如何在CentOS7.9安装CDP Base7.1.7。CDP Base7与CDH5/6的安装步骤一致，主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群；测试环境 1.CM7.4.4+CDH7.1.7 2.CentOS7.9 3.OpenJDK1.8 4.MariaDB-5.5.64 5.root用户安装前置准备 2.1 ho

2022-04-13

2.1K0

0865-5.16.2-如何搭建DolphinScheduler集群并与安全的CDH集成

数据库云数据库 SQL Server sql 大数据

Apache DolphinScheduler（以下简称：DS）是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。本篇文档主要介绍如何搭建DolphinScheduler集群并与安全的CDH集群集成。

2021-11-02

2.7K0

0860-5.16.2-如何统计Hive表的分区数、小文件数量和表大小

专用宿主机数据库 sql hive 数据可视化

本篇文章主要介绍如何在CDH 5.16.2集群中获取所有Hive表的分区数、小文件数量、表大小。

2021-08-23

4.5K0

0856-7.1.4-如何使用spark-shell操作Kudu表

spark shell scala 数据库

Kudu从 1.0.0 版本开始通过Data Source API与Spark 集成。kudu-spark使用--packages选项包含依赖项。如果将Spark与Scala 2.10 一起使用，需要使用 kudu-spark_2.10 。从 Kudu1.6.0开始不再支持Spark 1，如果要使用Spark1与Kudu集成，最高只能到Kudu1.5.0。

2021-07-28

1.2K0

0853-7.1.6-如何在CDP集群上安装DAS

数据库 sql kerberos postgresql hive

Data Analytics Studio (DAS)是一个能够提供诊断工具和智能化的建议，使得业务数据分析师能易于上手hive的应用程序并提高工作效率。本篇文章主要介绍如何为 CDP集群安装集成 DAS(Data Analytics Studio)。

2021-07-05

1.9K0

0844-5.16.2-如何清理hue元数据库里面的历史数据

在hue的使用过程中，由于hue会永久的保存所有数据，并且不会自动的去清理desktop_document, desktop_document2, oozie*, beeswax*这些tables里的data,因此在长时间高频次的使用后，可能会导致hue的性能下降，造成hue的登陆，运行，使用缓慢等性能问题。本文主要介绍如何进行hue的数据的清理。

2021-07-05

1.6K0

0842-7.1.6-如何使用authzmigrator 工具迁移Sentry权限到Ranger

xml 专用宿主机数据库 sql hive

1.CDP 的 CM 节点与 CDH 的元数据库节点没有网络限制，并且CDP 集群中的CM节点可以正常使用 sentry 元数据的用户密码登陆 CDH 的 sentry 元数据库

2021-07-05

1.9K1

0837-使用Knox代理连接开启Kerberos认证的Impala

云数据库 MySQL kerberos http jdbc 数据库

在 ODBC and JDBC Drivers（ODBC 和 JDBC 驱动程序）下，选择适合系统环境的 hive 或 Impala 的ODBC驱动程序下载，注意不是JDBC

2021-04-30

1.5K0

0836-Apache Druid on HDP

apache hive 存储数据库 sql

Apache Druid是一个分布式的、面向列的、实时分析数据库，旨在快速获取大量数据并将其编入索引，并对大型数据集进行快速的切片和切分分析（“OLAP查询），常用于实时摄取、快速查询和对时间依赖性很高的数据库用户。因此，Druid可以为可视化的分析应用程序提供强力的数据源支持，或用作需要快速聚合的高并发API的后端。Druid最适合面向事件的数据。

2021-04-30

1.3K0

CDP Private Cloud Base 7.1.4正式GA

数据库 sql hive oracle 专用宿主机

2020年10月27日 1.平台支持如果使用Oracle 12作为元数据库，支持从HDP2.x到DC-Ambari的原地升级；支持使用Oracle 19作为元数据库，包括全新安装和升级；支持SLES 12 SP5操作系统，包括全新安装和升级；支持Postgres 11作为元数据库，支持全新安装和DC-Ambari； 2.功能 Hive 新增参数：hive.create.as.external.legacy，新增建表语法：CREATE [MANAGED] TABLE，方便老的CDH5/CDH6用户保

2021-04-19

9130

0832-如何安装及使用Prometheus

https 网络安全 node.js 数据库大数据

Prometheus 是一个具有维度数据模型，灵活的查询语言，高效的时间序列数据库和现代警报方法的开源监视系统。

2021-04-19

2.3K1

0833-如何使用Prometheus监控MySQL

云数据库 SQL Server https 网络安全数据库 sql

在《如何安装及使用Prometheus》文中有对Prometheus 做简单的介绍，并且通过node_exporter的模板示例介绍了如何监控主机信息。本文主要介绍如何使用Prometheus监控MySQL数据库信息

2021-04-19

1.9K0

0829-5.15.1-Hive锁表导致CM无法启动异常分析

云数据库 SQL Server 数据库 sql 专用宿主机 hive

本文描述了一次CDH集群中，Hive锁表导致集群元数据MySQL的Hive MetaStore锁表，从而引起CM服务中断并且无法重启的异常分析。

2021-03-11

1.5K0

0825-7.1.4-如何重置Ranger Admin Web UI登录密码

网站数据库 sql

Ranger Admin Web UI默认的登录名是admin,正常情况下我们可以进入Ranger页面的Setting 位置修改用户密码。本文描述了当我们忘记了admin 用户的登录密码，无法进入Ranger Admin Web UI的情况下如何重置admin用户登录Ranger Admin Web UI的方法。

2020-12-29

3K0

0822-HUE元数据库的desktop_document2表研究

sql 数据库分布式

由于HUE中的数据过多，导致HUE运行很缓慢，经过查询，发现HUE元数据库中的desktopdocument2表很大，有几十万条数据，经过查看表结构发现，desktopdocument2中有一个字段lastmodified，值是一个时间戳，为了减轻HUE的负担，直接删除了lastmodified小于三个月前的所有数据，结果登陆HUE后发现HUE的收藏夹无法打开，并且所有的查询记录都无法显示了。

2020-12-14

1.8K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态