首页
学习
活动
专区
工具
TVP
发布

Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏作者
964
文章
2345669
阅读量
704
订阅数
0908-CDP Private Cloud Base 7.1.9正式GA
八月再见,九月你好,今天是九月八日,新学年开始,Cloudera正式发布CDP Base 7.1.9和Cloudera Manager 7.11.3。此版本首次在CDP PvC Base上引入强大的Open Data Lakehouse分析功能,同时它和CDP Base 7.1.7一样,也是一个长期支持版本(long-term release, LTS),EOS的时间为2027年九月。
Fayson
2023-09-20
4020
重磅 | Hadoop的第二个十年
https://medium.com/swlh/hadoop-evolution-decade2-ca46e5514713
Fayson
2020-02-18
5720
0477-如何在Redhat7.4的CDH5.16.1中启用Kerberos
在前面的文章中,Fayson介绍了《0470-如何在Redhat7.4安装CDH5.16.1》,这里我们基于这个环境开始安装MIT Kerberos。本文Fayson主要介绍如何而在Redhat7.4的CDH5.16.1中启用Kerberos。
Fayson
2018-12-25
8290
0476-Cloudera Agent服务tmpfs文件系统cm_processes空间不足分析
Cloudera Manager Agent服务默认使用的tmpfs临时文件系统,是一种基于内存的文件系统。临时文件系统的大小也就在10GB左右,当Cloudera Manager Agent产生了大量数据时,挂载在/run/cloudera-scm-agent/process或/var/run/cloudera-scm-agent/process上的tmpfs文件系统空间会被占满。本篇文章Fayson主要介绍如何解决该问题,并从配置上进行修改以防止以后发生这种问题。
Fayson
2018-12-25
1.4K0
0475-如何统一Hue和Oozie的时区
在前面的文章中,Fayson介绍过《如何修改Cloudera Manager的时区》,《如何修改Hue的时区》和《如何修改CDSW会话的时区》。在使用Hue创建调度任务的过程中,我们会发现Hue的时区与Oozie的调度时间不一致。默认Oozie使用的时区为UTC,在创建调度作业时还需要考虑在当前的时间减去8个小时才能达到我们的预期。在使用上非常不方便,这里Fayson主要介绍如何统一Hue和Oozie的时区。
Fayson
2018-12-25
1.6K0
如何在Redhat7.4安装HDP3.0.1
7月13日,Hortonworks在其官网宣布发布HDP3.0,相关介绍可以参考Fayson昨天的文章《Hortonworks正式发布HDP3.0》,最近又更新到了HDP3.0.1。本文档Fayson主要描述如何在Redhat7.4安装HDP3.0.1。HDP与CDH的安装步骤一致,主要包括以下四部分:
Fayson
2018-11-16
3.1K0
如何在启用Kerberos的CDH中部署及使用Kylin
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 我们在前面的文章简单介绍过Apache Kylin,请参考《如何在CDH中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。但对于CDH的生产系统,往往都会部署配置安全多租户,即Kerberos+Sentry,当C
Fayson
2018-07-12
1.6K0
如何在Redhat7.4安装CDH6.0.0_beta1
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- Cloudera在北京时间5月16日,对外宣布发布Cloudera Enterprise 6 Beta,相关介绍可以参考Fayson昨天的文章《Cloudera Enterprise 6 Beta发布》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.0.0-bet
Fayson
2018-07-12
1.5K0
1.如何在RedHat7上安装OpenLDA并配置客户端
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 众所周知Hadoop安全模块不存储用户和用户组信息,而是依赖Linux系统的用户和用户组。同时在集群开启安全认证模式之后,需要映射Kerberos Principle到Linux的用户以及映射用户到用户组。那么随之而来的问题是如何统一管理用户信息。这里统一管理用户信息的方式有多种(
Fayson
2018-04-18
4.4K2
CDH5.14和CM5.14的新功能
Fayson在2017年的10月12日介绍了《CDH5.13和CM5.13的新功能》,今天1月26日,Cloudera正式发布了CDH5.14。三个月零几天,2018年第一次更新比以往时候来的更晚一些,估摸着是老外过年放假导致的吧。本次更新包括集成CDSW1.3,Kudu1.6,Impala2.11等新功能,还修复了大量bug。以下我们看看CDH5.14和CM5.14具体的更新内容。
Fayson
2018-03-29
3.2K0
如何使用Java连接Kerberos的HBase
出于CDH集群安全考虑,在CDH集群中增加了Kerberos认证机制。因为HBase的存储系统是基于Hadoop的存储,所以通过HBase客户端访问HBase数据库时需要进行身份认证。在Linux下使用HBase客户端访问HBase数据时需要先kinit初始化Kerberos账号,认证完成后我们就可以直接使用HBase shell操作HBase了。通过Linux的Kinit命令可以方便的完成Kerberos的认证,那么在Java开发中如何完成Kerberos的登录认证呢?本篇文章主要讲述如何使用Java连接Kerberos环境的HBase。
Fayson
2018-03-29
5.5K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档