Hadoop实操-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏成员

974

文章

2437029

阅读量

707

订阅数

0891-CDP Private Cloud Base 7.1.8正式GA

hive 大数据 kafka hbase api

八月再见，九月你好，今天是九月一日，新学年开始，Cloudera正式发布CDP Base 7.1.8和Cloudera Manager 7.7.1。这个版本引入了诸多新功能，比如通过EC提升Ozone的存储效率，Cloudera Manager的HA，多NameNode支持，全面支持Impala4.0，Hive性能提升，HDFS/Schema Registry血缘功能的增强，改进Ranger RMS，以及实时平台的全面增强。 1.平台支持增强 1.新的操作系统支持 CDP Private Cloud Ba

2022-09-02

1K1

0879-7.1.7-如何在CDP安装NVIDIA Tesla T4并使用RAPIDS加速

spark yarn node.js api 机器学习

本文作者：BYD信息中心-数据中心管理部-董睿进入正文之前先打一个小广告，手动狗头比亚迪西安研发中心（与深圳协同办公），base西安，招聘大数据平台运维、架构方向的工程师，实时计算方向工程师，感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 RAPIDS 全称是Real-time Acceleration Platform for Integrated Data Science，是 NVIDIA 针对数据科学和机器学习推出的 GPU 加速库，RAPIDS的推出其实是为了弥补G

2022-04-28

9450

0866-5.16.2-DolphinScheduler集群高可用测试

api 腾讯云测试服务云服务器负载测试负载均衡

Apache DolphinScheduler（简称DS）是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。在生产环境中需要确保调度平台的稳定可靠性及任务负载均衡，本篇文档主要针对DS集群的高可用及稳定性进行测试验证。

2021-11-12

1.3K0

0802-Cloudera Data Center7.1.3正式GA

apache hive 大数据 yarn api

CDP Data Center是CDP(Cloudera Data Platform)的on-premise版本。这个新产品结合了Cloudera EDH和HDP两者的优点包括新功能或增强功能。该发行版是一个可扩展和可定制的平台，你可以在之上运行多种类型的工作负载。

2020-08-20

1.1K0

0783-6.2.0-如何在Hue中集成HBase

hbase api TDSQL MySQL 版

Fayson在前面介绍了《0635-5.16.1-Hue集成HBase出现Api Error异常分析》和《0647-6.1.1-Hue集成HBase出现Api Error异常分析(续)》文章中说明了C5和C6中Hue与HBase集成的异常分析。本篇文章Fayson主要如何在C6.2.0的安全环境下使用Hue访问HBase。

2020-06-17

1.6K0

Flink 1.10 新特性研究

api 大数据 java sql 存储

Flink 1.10 release 文档描述了一些比较重要的点，比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别，如果你准备将 Flink 升级到 1.10 版本，建议仔细看完下面的内容。

2020-02-26

1.6K0

0741-什么是Apache Ranger - 1

hadoop apache 专用宿主机 hive api

作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集，处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera，担任高级售后技术支持工程师，主要擅长解决在CDH生态系统中出现的各种疑难杂症。

2020-02-10

1.7K0

0529-5.15.0-这次玩儿大了，找不回了

大数据 api kafka github hadoop

前两天客户问了一个问题，HDFS上删除的数据还能不能恢复？碰到这个问题第一反应“在执行命令的这个用户下垃圾回收站找到恢复不就的了？”，用户删除数据发现操作失误的时间并不长也没有超过垃圾回收站的清空时间，但是无论怎么找也找不到被删除的数据，这次真的玩儿大了。。。

2019-11-28

1.2K1

0512-使用Python访问Kerberos环境下的HDFS

大数据 api kerberos python

随着Hadoop平台的普及和Python语言的流行，使用Python语言访问操作HDFS的需要，Python也提供了多个访问HDFS的依赖包（如：pyhdfs、HdfsCLI、pywhdfs），这些依赖包都是通过API的方式与HDFS进行交互。本篇文章Fayson主要介绍使用pywhdfs访问Kerberos环境下的HDFS。

2019-11-27

2K0

Delta Lake - 数据湖的数据可靠性

spark 大数据 apache 存储 api

今天笔者将分享一位大神关于 Delta Lake 的演讲内容。这位是 Apache Spark 的 committer 和 PMC 成员，也是 Spark SQL 的最初创建者，目前领导 Databricks 团队，设计和构建 Structured Streaming 和 Databricks Delta，技术涉及分布式系统、大规模结构化存储和查询优化等方面。

2019-11-21

1.9K1

0718-6.3.0-CDH6.3的新功能

专用宿主机 java api spark apache

你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11，在集群中安装OpenJDK 11时，默认使用G1GC为CDH大多数服务作为垃圾回收机制，这可能需要进行调优以避免内存过量使用。

2019-10-25

2.2K1

0698-6.2.0-Navigator审计日志查看对应用户的操作

访问管理 hive 大数据 kerberos api

CDH集群中有数据管理的组件Cloudera Navigator，本文档主要介绍这个组件的其中一个功能：审计，Cloudera Navigator审计可以从选定的集群服务收集一些事件，用户可以在控制台查看这些审计的日志，可以使用可配置的过滤器进行搜索，快速得到相关的信息，并且可以将这些信息导出为CSV或JSON文件。下面会对审计功能的使用进行一些测试。

2019-09-16

1.3K0

0670-6.2.0-如何获取CDSW中每个Session输出的LiveLog日志

java 存储 api github git

一些用户为了方便管理和审计，需要将CDSW上所有用户启动Session时运行代码输出的信息获取到。那接下来Fayson主要介绍如何通过获取用户每个Session代码运行输出的详细LiveLog日志。

2019-07-17

8020

0654-6.2.0-如何通过CM API获取集群事件并入库到MySQL

api python 云数据库 SQL Server 数据库

Fayson在本文中介绍如何通过shell 和python 脚本获取CM中重要的告警信息，以便更方便的掌握和分析集群以及集群中节点和服务的健康状况。

2019-06-17

1.2K0

是时候放弃 Spark Streaming, 转向 Structured Streaming 了

api 批量计算 jquery windows spark

正如在之前的那篇文章中 Spark Streaming 设计原理中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 [Release Note](http://spark.apache.org/releases/spark-release-2-4-0.html) 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下，Structured Streaming 有将近十个 ticket 说明。所以各位同学，是时候舍弃 Spark Streaming 转向 Structured Streaming 了，当然理由并不止于此。我们这篇文章就来分析一下 Spark Streaming 的不足，以及Structured Streaming 的设计初衷和思想是怎么样的。文章主要参考今年（2018 年）sigmod 上面的这篇论文：Structured Streaming: A Declarative API for Real-Time

2019-06-03

1.5K0

0635-5.16.1-Hue集成HBase出现Api Error异常分析

专用宿主机 hbase api TDSQL MySQL 版

2.回到Cloudera Manager上点击HBase服务，然后进入Thrift的配置页。

2019-05-21

1.4K0

0629-6.2-如何使用CM API接口获取集群所有节点内存和磁盘使用情况

api github hadoop git 开源

大家也知道Cloudera Manager提供了丰富的监控指标，部分客户也有自己统一的监控平台，需要将CM上的监控指标集成到统一的监控平台上，因此可以通过提供的API接口获取监控指标，本篇文章Fayson主要介绍如何通过CM API接口获取集群所有节点内存和磁盘使用情况。如下图所示：

2019-05-16

4.7K1

0591-5.16.1-如何通过CM的API 获取集群告警信息

api http hive 专用宿主机

当集群中的服务有故障时，CM的界面上可以直接显示告警，你也可以通过CM的API去获取这些信息，本篇文章主要介绍CM的界面告警事件以及如何使用CM提供的API获取集群的告警信息

2019-04-28

2K0

0589-Cloudera Manager6.2的新功能

SSL 证书 hive kafka api 网站

虚拟私有集群(Virtual Private Cluster)使用Cloudera共享数据体验（Shared Data Experience，SDX）来简化on-premise和on-cloud的应用程序的部署，并使运行在不同集群中的工作负载能够安全，灵活地共享数据。

2019-04-28

1.9K0

0583-5.16.1-1.4.2-后台脚本无感知为CDSW用户绑定Kerberos账号(密码认证)

kerberos api 访问管理 github hadoop

业务用户在安全环境下使用CDSW服务，为了防止用户的Kerberos的账号和密码泄露问题，需要管理系统统一的为业务用户分发Kerberos账号。本篇文章Fayson主要介绍如何通过CDSW API的方式为不同的业务用户设置Kerberos信息。

2019-04-28

6400

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态