首页
学习
活动
专区
工具
TVP
发布

Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏成员
974
文章
2437029
阅读量
707
订阅数
0891-CDP Private Cloud Base 7.1.8正式GA
八月再见,九月你好,今天是九月一日,新学年开始,Cloudera正式发布CDP Base 7.1.8和Cloudera Manager 7.7.1。这个版本引入了诸多新功能,比如通过EC提升Ozone的存储效率,Cloudera Manager的HA,多NameNode支持,全面支持Impala4.0,Hive性能提升,HDFS/Schema Registry血缘功能的增强,改进Ranger RMS,以及实时平台的全面增强。 1.平台支持增强 1.新的操作系统支持 CDP Private Cloud Ba
Fayson
2022-09-02
1K1
0879-7.1.7-如何在CDP安装NVIDIA Tesla T4并使用RAPIDS加速
本文作者:BYD信息中心-数据中心管理部-董睿 进入正文之前先打一个小广告,手动狗头 比亚迪西安研发中心(与深圳协同办公),base西安,招聘大数据平台运维、架构方向的工程师,实时计算方向工程师,感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 RAPIDS 全称是Real-time Acceleration Platform for Integrated Data Science,是 NVIDIA 针对数据科学和机器学习推出的 GPU 加速库,RAPIDS的推出其实是为了弥补G
Fayson
2022-04-28
9450
0866-5.16.2-DolphinScheduler集群高可用测试
Apache DolphinScheduler(简称DS)是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。在生产环境中需要确保调度平台的稳定可靠性及任务负载均衡,本篇文档主要针对DS集群的高可用及稳定性进行测试验证。
Fayson
2021-11-12
1.3K0
0802-Cloudera Data Center7.1.3正式GA
CDP Data Center是CDP(Cloudera Data Platform)的on-premise版本。这个新产品结合了Cloudera EDH和HDP两者的优点包括新功能或增强功能。该发行版是一个可扩展和可定制的平台,你可以在之上运行多种类型的工作负载。
Fayson
2020-08-20
1.1K0
0783-6.2.0-如何在Hue中集成HBase
Fayson在前面介绍了《0635-5.16.1-Hue集成HBase出现Api Error异常分析》和《0647-6.1.1-Hue集成HBase出现Api Error异常分析(续)》文章中说明了C5和C6中Hue与HBase集成的异常分析。本篇文章Fayson主要如何在C6.2.0的安全环境下使用Hue访问HBase。
Fayson
2020-06-17
1.6K0
Flink 1.10 新特性研究
Flink 1.10 release 文档描述了一些比较重要的点,比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别,如果你准备将 Flink 升级到 1.10 版本,建议仔细看完下面的内容。
Fayson
2020-02-26
1.6K0
0741-什么是Apache Ranger - 1
作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学, Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise(现为Experian的子公司)和Effective Measure,担任高级工程师,负责设计,开发和管理用于采集, 处理和报告网络数据的平台(基于PHP,Java和CDH)。现任职Cloudera, 担任高级售后技术支持工程师,主要擅长解决在CDH生态系统中出现的各种疑难杂症。
Fayson
2020-02-10
1.7K0
0529-5.15.0-这次玩儿大了,找不回了
前两天客户问了一个问题,HDFS上删除的数据还能不能恢复?碰到这个问题第一反应“在执行命令的这个用户下垃圾回收站找到恢复不就的了?”,用户删除数据发现操作失误的时间并不长也没有超过垃圾回收站的清空时间,但是无论怎么找也找不到被删除的数据,这次真的玩儿大了。。。
Fayson
2019-11-28
1.2K1
0512-使用Python访问Kerberos环境下的HDFS
随着Hadoop平台的普及和Python语言的流行,使用Python语言访问操作HDFS的需要,Python也提供了多个访问HDFS的依赖包(如:pyhdfs、HdfsCLI、pywhdfs),这些依赖包都是通过API的方式与HDFS进行交互。本篇文章Fayson主要介绍使用pywhdfs访问Kerberos环境下的HDFS。
Fayson
2019-11-27
2K0
Delta Lake - 数据湖的数据可靠性
今天笔者将分享一位大神关于 Delta Lake 的演讲内容。这位是 Apache Spark 的 committer 和 PMC 成员,也是 Spark SQL 的最初创建者,目前领导 Databricks 团队,设计和构建 Structured Streaming 和 Databricks Delta,技术涉及分布式系统、大规模结构化存储和查询优化等方面。
Fayson
2019-11-21
1.9K1
0718-6.3.0-CDH6.3的新功能
你现在可以在Cloudera Enterprise 6.3中使用OpenJDK 11,在集群中安装OpenJDK 11时,默认使用G1GC为CDH大多数服务作为垃圾回收机制,这可能需要进行调优以避免内存过量使用。
Fayson
2019-10-25
2.2K1
0698-6.2.0-Navigator审计日志查看对应用户的操作
CDH集群中有数据管理的组件Cloudera Navigator,本文档主要介绍这个组件的其中一个功能:审计,Cloudera Navigator审计可以从选定的集群服务收集一些事件,用户可以在控制台查看这些审计的日志,可以使用可配置的过滤器进行搜索,快速得到相关的信息,并且可以将这些信息导出为CSV或JSON文件。下面会对审计功能的使用进行一些测试。
Fayson
2019-09-16
1.3K0
0670-6.2.0-如何获取CDSW中每个Session输出的LiveLog日志
一些用户为了方便管理和审计,需要将CDSW上所有用户启动Session时运行代码输出的信息获取到。那接下来Fayson主要介绍如何通过获取用户每个Session代码运行输出的详细LiveLog日志。
Fayson
2019-07-17
8020
0654-6.2.0-如何通过CM API获取集群事件并入库到MySQL
Fayson在本文中介绍如何通过shell 和python 脚本获取CM中重要的告警信息,以便更方便的掌握和分析集群以及集群中节点和服务的健康状况。
Fayson
2019-06-17
1.2K0
是时候放弃 Spark Streaming, 转向 Structured Streaming 了
正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少,Spark 2.4 版本的 [Release Note](http://spark.apache.org/releases/spark-release-2-4-0.html) 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下,Structured Streaming 有将近十个 ticket 说明。所以各位同学,是时候舍弃 Spark Streaming 转向 Structured Streaming 了,当然理由并不止于此。我们这篇文章就来分析一下 Spark Streaming 的不足,以及Structured Streaming 的设计初衷和思想是怎么样的。文章主要参考今年(2018 年)sigmod 上面的这篇论文:Structured Streaming: A Declarative API for Real-Time
Fayson
2019-06-03
1.5K0
0635-5.16.1-Hue集成HBase出现Api Error异常分析
2.回到Cloudera Manager上点击HBase服务,然后进入Thrift的配置页。
Fayson
2019-05-21
1.4K0
0629-6.2-如何使用CM API接口获取集群所有节点内存和磁盘使用情况
大家也知道Cloudera Manager提供了丰富的监控指标,部分客户也有自己统一的监控平台,需要将CM上的监控指标集成到统一的监控平台上,因此可以通过提供的API接口获取监控指标,本篇文章Fayson主要介绍如何通过CM API接口获取集群所有节点内存和磁盘使用情况。如下图所示:
Fayson
2019-05-16
4.7K1
0591-5.16.1-如何通过CM的API 获取集群告警信息
当集群中的服务有故障时,CM的界面上可以直接显示告警,你也可以通过CM的API去获取这些信息,本篇文章主要介绍CM的界面告警事件以及如何使用CM提供的API获取集群的告警信息
Fayson
2019-04-28
2K0
0589-Cloudera Manager6.2的新功能
虚拟私有集群(Virtual Private Cluster)使用Cloudera共享数据体验(Shared Data Experience,SDX)来简化on-premise和on-cloud的应用程序的部署,并使运行在不同集群中的工作负载能够安全,灵活地共享数据。
Fayson
2019-04-28
1.9K0
0583-5.16.1-1.4.2-后台脚本无感知为CDSW用户绑定Kerberos账号(密码认证)
业务用户在安全环境下使用CDSW服务,为了防止用户的Kerberos的账号和密码泄露问题,需要管理系统统一的为业务用户分发Kerberos账号。本篇文章Fayson主要介绍如何通过CDSW API的方式为不同的业务用户设置Kerberos信息。
Fayson
2019-04-28
6400
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档