腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2340196

阅读量

704

订阅数

0911-7.1.7-如何在CDP集群使用Flink SQL Client并与Hive集成

sql hive flink client 集群

在前面Fayson介绍了《0876-7.1.7-如何在CDP中部署Flink1.14》，同时Flink也提供了SQL Client的能力，可以通过一种简单的方式来编写、调试和提交程序到Flink集群，而无需编写一行Java或Scala代码。本篇文章主要介绍如何在CDP集群中使用Flink SQL Client与Hive集成。Flink与Hive的集成，主要有如下两个目的：

2023-12-04

3330

0901-安装Python3.8

数据库 anaconda sql 云数据库 SQL Server parcel

CDP7.1.8及更高版本中Hue使用Python3环境，因此必须在集群的所有节点安装Python3.8。同时还必须为PostgreSQL、MySQL或MariaDB数据库安装相应的驱动包，确保Hue通过驱动包可以正常的访问数据库，如下操作步骤主要基于CentOS7版本：

2022-12-14

7900

0886-7.1.7-Hive1与Hive3中Decimal数据计算结果精度缺失问题分析

hive 专用宿主机 sql

将集群从CDH升级到CDP后，Hive1与Hive3在Decimal精度的处理上发生了变化，导致两个版本的Hive在进行Decimal类型的数据计算时存在差异，主要体现在计算结果精度缺失。本篇文章主要从Hive1和Hive3对Decimal类型的处理上进行分析，进而详细解释精度缺失的原因。

2022-09-27

1.9K0

0889-7.1.7-Hive on Tez解析以及日志分析

hive sql yarn node.js mapreduce

1.Tez简介 Tez 是支持 DAG 作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能。从本质上讲，Tez 组成非常简单，只有两个组成部分：数据处理管道引擎，其中一个引擎可以输入，处理和输出实现以执行任意数据处理数据处理应用程序的主机，通过它可以将上述任意数据处理“任务”组合到任务 DAG 中，以根据需要处理数据。总的来说MR任务在map和reduce阶段都会产生I/O落盘，但是Tez就不要这一步骤了。 Tez采用了DAG（有向无环图）来组织MR任务。核心

2022-08-29

2.9K0

你问我答3 - 关于Hive CLI与Beeline

hive sql 大数据 node.js 腾讯云测试服务

请教一下，这个是cdp测试过程中，我这边想把hive命令默认client改为原来的hive cli，修改了use_beeline_for_hive_cli为false后,命令输入hive报了java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning,我尝试过将tez的jar包复制到hive 的lib目录下和修改hive-site.xml中的hive.server2.active.passive.ha.enable为fals

2022-08-26

1.2K0

你问我答2 - 关于CDH上的一些安全

hive kerberos sql 大数据 node.js

就是假设 Hadoop 使用了 Kerberos 验证，且 Yarn 使用 LinuxContainerExecutor，那么当 NM 以提交 Job 的用户身份启动 Container 时，当前 Container 进程需要进行 Kerberos 验证么？如果需要的话，它是 NM 的 keytab 进行验证呢，还是 Job 提交者 keytab 需要安装到所有 NM host 节点上？ ---- 你这个是个原理问题吧？如果cm启用kerberos，你提交作业其实不用管这些的呢。 ---- 嗯，是想把底

2022-08-26

3590

0885-7.1.6-如何对CDP中的Hive元数据表进行调优

hive 数据分析 html 数据库 sql

作者：唐辉 1.文档编写目的在日常使用中，我们可以发现在hive元数据库中的TBL_COL_PRIVS，TBL_PRIVS 、PART_COL_STATS表相当大，部分特殊情况下NOTIFICATION_LOG也可能存在问题，如果集群中有关联的操作时会导致元数据库响应慢，从而影响整个Hive的性能，本文的主要目的通过对Hive 的元数据库部分表进行优化，来保障整个Hive 元数据库性能的稳定性。测试环境 1.CDP7.1.6 、启用Kerberos 2.元数据版本 MariaDB-5.5.60 2.问题

2022-08-26

2K0

Apache Impala 4.0技术揭秘与最新进展

hadoop hive html sql apache

展开 !function(){"use strict";var e=function(e,a){function t(e,a){var t=e.match(new RegExp(a+"\\s*

2022-05-05

5790

0877-1.6.2-SQL Stream Builder(SSB)概述

云数据库 SQL Server flink 大数据 postgresql sql

1.什么是SQL Stream Builder Cloudera Streaming Analytics(CSA)提供了一个易于使用的交互式SQL Stream Builder(SSB)作为服务，用于通过 SQL创建对数据流的查询。 SQL Stream Builder (SSB)是一个功能全面的交互式UI工具，可以使用SQL创建有状态的流处理作业。通过使用 SQL，您可以简单轻松地声明过滤、聚合、路由和以其他方式改变数据流的表达式。SSB 是一个作业管理接口，可用于在流上编写和运行 SQL，以及为结果创

2022-04-15

9550

0870-CDP公有云发布Iceberg技术预览版

hive apache spark sql python

在过去的十年中，我们的客户成功部署的大规模数据集群已成为推动需求的大数据飞轮，它可以引入更多的数据，应用更复杂的分析，并成就了从业务分析师到数据科学家的许多新数据从业者。这种前所未有的大数据工作负载并非没有挑战。数据架构层就是这样一个领域，不断增长的数据集已经突破了可扩展性和性能的极限。数据爆炸必须用新的解决方案来应对，这就是为什么我们很高兴在Cloudera Data Platform (CDP)引入专为大规模数据集设计的下一代表格式(table format) - Apache Iceberg。今天，我

2022-03-04

7980

0865-5.16.2-如何搭建DolphinScheduler集群并与安全的CDH集成

数据库云数据库 SQL Server sql 大数据

Apache DolphinScheduler（以下简称：DS）是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。本篇文档主要介绍如何搭建DolphinScheduler集群并与安全的CDH集群集成。

2021-11-02

2.4K0

0860-5.16.2-如何统计Hive表的分区数、小文件数量和表大小

专用宿主机数据库 sql hive 数据可视化

本篇文章主要介绍如何在CDH 5.16.2集群中获取所有Hive表的分区数、小文件数量、表大小。

2021-08-23

4K0

0853-7.1.6-如何在CDP集群上安装DAS

数据库 sql kerberos postgresql hive

Data Analytics Studio (DAS)是一个能够提供诊断工具和智能化的建议，使得业务数据分析师能易于上手hive的应用程序并提高工作效率。本篇文章主要介绍如何为 CDP集群安装集成 DAS(Data Analytics Studio)。

2021-07-05

1.8K0

0844-5.16.2-如何清理hue元数据库里面的历史数据

在hue的使用过程中，由于hue会永久的保存所有数据，并且不会自动的去清理desktop_document, desktop_document2, oozie*, beeswax*这些tables里的data,因此在长时间高频次的使用后，可能会导致hue的性能下降，造成hue的登陆，运行，使用缓慢等性能问题。本文主要介绍如何进行hue的数据的清理。

2021-07-05

1.5K0

0842-7.1.6-如何使用authzmigrator 工具迁移Sentry权限到Ranger

xml 专用宿主机数据库 sql hive

1.CDP 的 CM 节点与 CDH 的元数据库节点没有网络限制，并且CDP 集群中的CM节点可以正常使用 sentry 元数据的用户密码登陆 CDH 的 sentry 元数据库

2021-07-05

1.8K1

0836-Apache Druid on HDP

apache hive 存储数据库 sql

Apache Druid是一个分布式的、面向列的、实时分析数据库，旨在快速获取大量数据并将其编入索引，并对大型数据集进行快速的切片和切分分析（“OLAP查询），常用于实时摄取、快速查询和对时间依赖性很高的数据库用户。因此，Druid可以为可视化的分析应用程序提供强力的数据源支持，或用作需要快速聚合的高并发API的后端。Druid最适合面向事件的数据。

2021-04-30

1.2K0

CDP Private Cloud Base 7.1.4正式GA

数据库 sql hive oracle 专用宿主机

2020年10月27日 1.平台支持如果使用Oracle 12作为元数据库，支持从HDP2.x到DC-Ambari的原地升级；支持使用Oracle 19作为元数据库，包括全新安装和升级；支持SLES 12 SP5操作系统，包括全新安装和升级；支持Postgres 11作为元数据库，支持全新安装和DC-Ambari； 2.功能 Hive 新增参数：hive.create.as.external.legacy，新增建表语法：CREATE [MANAGED] TABLE，方便老的CDH5/CDH6用户保

2021-04-19

8760

0833-如何使用Prometheus监控MySQL

云数据库 SQL Server https 网络安全数据库 sql

在《如何安装及使用Prometheus》文中有对Prometheus 做简单的介绍，并且通过node_exporter的模板示例介绍了如何监控主机信息。本文主要介绍如何使用Prometheus监控MySQL数据库信息

2021-04-19

1.8K0

0829-5.15.1-Hive锁表导致CM无法启动异常分析

云数据库 SQL Server 数据库 sql 专用宿主机 hive

本文描述了一次CDH集群中，Hive锁表导致集群元数据MySQL的Hive MetaStore锁表，从而引起CM服务中断并且无法重启的异常分析。

2021-03-11

1.3K0

0828-7.1.4-如何在CDP中通过Livy Thrift Server来提交Spark SQL作业

sql spark hive jdbc

为什么CDH甚至最新的CDP中对于Spark SQL CLI或者JDBC/ODBC没有提供基于Spark Thrift Server的支持，参考Fayson之前的文章《0827-7.1.4-如何在CDP中使用Spark SQL CLI》，在CDP中，Cloudera给出了新的解决方案Livy Thrift Server，它是对Spark Thrift Server的增强，支持JDBC/Thrift Server，安全与容错。通过Hive Warehouse Connector(HWC)，支持Spark SQL访问Hive3的内表，同时然Spark SQL支持基于Ranger的细粒度授权。本文主要介绍如何在CDP中通过Livy Thrift Server来提交Spark SQL作业。

2021-01-26

3.5K1

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态