腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2341116

阅读量

704

订阅数

0898-7.1.7-如何在CDP中为Kafka集成OpenLDAP

kafka kerberos SSL 证书 https 腾讯云测试服务

3.进入CM>Kafka>配置> Inter Broker Protocol，选择SASL_PLAINTEXT

2022-12-14

8330

关于Apache Hadoop权限提升漏洞（CNVD-2022-51055）

https 专用宿主机网络安全

基于下面这个链接，对应的CVE号为 CVE-2021-33036 https://www.cnvd.org.cn/flaw/show/CNVD-2022-51055 这个CVE已经在Cumulative hotfix 8 (CDP PvC Base 7.1.7.1037-2 )这个版本中fix了，可以通过以下链接找到CHF8的parcel包 https://archive.cloudera.com/p/cdh7/7.1.7.1037 因为CDH5或CDH6已经EOL(end of life)了，所以Cl

2022-08-26

7230

0838-通过Anaconda部署python3环境

网络安全 https javascript python

参考https://docs.anaconda.com/anaconda-scale/cloudera-cdh/

2021-04-30

1.3K0

基于Apache Spark 3.1.1的CDS 3.1正式GA

spark apache https 网络安全

基于Apache Spark 3.1.1的CDS 3.1在CDP Private Cloud Base 7.1.6上正式发布，这是CDS 3的小版本更新发布，主要改进包括：

2021-04-19

7420

0834-CDP Private Cloud Base 7.1.6正式GA

yarn node.js https kafka 网络安全

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/manager-release-notes/topics/cm-release-notes-731.html

2021-04-19

8990

0832-如何安装及使用Prometheus

https 网络安全 node.js 数据库大数据

Prometheus 是一个具有维度数据模型，灵活的查询语言，高效的时间序列数据库和现代警报方法的开源监视系统。

2021-04-19

2.1K1

0833-如何使用Prometheus监控MySQL

云数据库 SQL Server https 网络安全数据库 sql

在《如何安装及使用Prometheus》文中有对Prometheus 做简单的介绍，并且通过node_exporter的模板示例介绍了如何监控主机信息。本文主要介绍如何使用Prometheus监控MySQL数据库信息

2021-04-19

1.8K0

Dolphin Scheduler秒级别工作流异常处理

https 网络安全 node.js github bash

Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

2020-03-10

5.6K0

0496-使用Parquet矢量化为Hive加速

专用宿主机 hive https 网络安全

Apache Hive是Hadoop之上最流行的数据仓库引擎。提升Hive性能的功能可以显著提高集群资源的整体利用率。Hive使用一连串的运算符来执行查询。这些运算符包括MapTask，ReduceTask或SparkTask，它们在查询执行计划中进行调度。以前这些运算符被设计为每次处理一行数据。一次处理一行导致运算符效率不高，因为需要许多虚函数调用来处理扫描的每一行。另外，如果运算符一次只处理一行，不能利用CPU的SIMD指令集（例如SSE或AVX）进行加速。本文主要介绍如何在Hive中利用基于SIMD的优化，使Apache Parquet表的查询运行效率提升26％以上。

2019-11-28

2.1K0

0501-使用Python访问Kerberos环境下的Kafka(二)

kafka kerberos python https

在前面的文章Fayson介绍了一种Python访问Kerberos环境下Kafka的文章，参考《0500-使用Python2访问Kerberos环境下的Kafka》，本篇文章主要介绍另一种方式访问Kerberos环境下的Kafka。

2019-11-28

1.6K0

0504-使用Pulse为数据管道实现主动告警

lucene/solr apache 专用宿主机 javascript https

2017年年中，我们与世界上最大的医疗保健公司中的一家合作，将新的数据应用投入生产。这家公司通过收购其他公司来进行扩张，为了保持对FDA的合规性，他们需要从公司的数十个不同部门实时汇总数据。这个应用程序的消费者并不关心我们如何构建数据管道。他们关心的是如果数据管道出问题了，导致最终用户没有获得他们的数据，这家公司将因为无法满足合规可能遭受巨额罚款。

2019-11-28

7010

0500-使用Python2访问Kerberos环境下的Kafka

kafka kerberos python https

Kafka支持多种客户端语言（C/C++、Go、Java、JMS、.NET、Python）。Fayson在前面多篇文章介绍了Java访问Kerberos和非Kerberos环境下的Kafka，参考《如何使用Java连接Kerberos的Kafka》。本篇文章Fayson主要介绍使用Python2访问Kerberos环境下的Kafka。在学习本篇文章内容前你还需要知道《如何通过Cloudera Manager为Kafka启用Kerberos及使用》。

2019-11-27

9220

如何对CDH集群中的Impala打印线程堆栈

html5 python ubuntu http https

作者简介：黄权隆，Cloudera研发工程师，Apache Impala PMC & Comitter，毕业于北大计算机系网络所数据库实验室，曾就职于Hulu大数据基础架构团队，负责大数据系统的维护和二次开发，主要负责Impala和HBase方向。现就职于Cloudera，专注于Impala开发。

2019-11-11

3K0

Impala查询卡顿分析案例

linux 腾讯云测试服务打包 https

作者简介：黄权隆，Cloudera研发工程师，Apache Impala PMC & Comitter，毕业于北大计算机系网络所数据库实验室，曾就职于Hulu大数据基础架构团队，负责大数据系统的维护和二次开发，主要负责Impala和HBase方向。现就职于Cloudera，专注于Impala开发。

2019-11-06

2.9K0

Hadoop 对象存储 Ozone

大数据 apache hadoop https 网络安全

Apache Hadoop 项目至今已经有十多年的历史了，作为大数据的基石，自从投放之社区之后就引来了不少的眼球，进而也孕育出了众多的Apache项目，例如HBase，Hive , Spark 等等这些优秀的数据存储和处理等项目，从而构造成了一个庞大的生态圈。参考了世界级标准的，也就是 Hadoop的HDFS，一直在跟IEEE的POSIX文件系统API标准靠拢，因此我觉得，HDFS是长久的，因为它的API足够的标准化。API足够的标准化也就意味着照着实现的东西考虑的是很全面的。但是这并不代表HDFS本身的设计不存在问题或缺陷。

2019-10-31

5.7K0

0713-6.2.0-HBase的Thrift Server启动问题

hbase TDSQL MySQL 版 SSL 证书 https

配置Hue集成HBase的过程中，添加角色实例HBase Thrift Server后，把HBase Thrift身份验证（hbase.thrift.security.qop）配置为auth-conf

2019-10-15

1.7K0

Cloudera Streams Management正式GA

kafka apache https 网络安全

上个月Cloudera发布Cloudera Stream Processing，这个解决方案让所有Cloudera客户都能获得最新的，安全版本的Apache Kafka以及Schema Registry和Kafka Streams。我们很自豪能够通过Kafka的实施为数百名活跃客户提供支持，现在我们渴望为更多的客户提供服务。

2019-09-18

1.1K0

Apache Druid 0.15.0版本发布

sql apache kafka 其他 https

Druid 是一款极高性能的数据库服务，以往的社区工作大多集中在提升大规模实时数据处理和历史数据查询等核心能力上。最近，相对于整体架构的核心升级，同时还照顾了一些“轻松”的方向，来帮助用户快速提升使用Druid的工作效率。

2019-07-15

2.2K1

0638-6.1.0-Cloudera Manager配置TLS

数据分析 https SSL 证书

本文档主要介绍如何为已经安装好的CDH集群配置Cloudera Manager启用TLS。

2019-05-23

2.1K0

0569-5.15.1-开启Sentry后LOAD DATA异常分析

hive https 网络安全数据库 sql

在开启了Sentry的CDH集群中，Hive或Impala的操作会受Sentry的管理，不同的操作需要不同的权限。例如，要在Hive中执行ALTER DATABASE命令，用户需要拥有SERVER或DATABASE的ALL权限。本文是描述关于LOAD DATA的异常，我们先来看看Cloudera官网对于这一块的描述：

2019-04-29

1.6K1

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态