Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
651 篇文章
368 人订阅

全部文章

Fayson

0690-TensorFlow之车牌识别案例

参考文档:https://blog.csdn.net/shadown1ght/article/details/78571187

793
Fayson

0689-1.4.0-CDSW目录迁移变更技术手册

CDSW使用一段时间以后,Master节点的/var/lib/cdsw目录挂载的是单块磁盘没有做raid等数据备份而且已经运行时间长达两年,因此为规避磁盘低概率...

392
Fayson

0687-5.16.1-Hive分桶问题

在Hive中创建了一个分桶事务表TEST_TRANSACTIONAL,表结构如下:

932
Fayson

0688-6.2.0-特殊用户名在Hue和YARN中测试

本文测试OpenLDAP中特殊用户名(test.user_357)能否正常使用,和使用principal名为test.user_357的Kerberos账号能否...

663
Fayson

0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件

默认情况下, CentOS和RedHat5.5或更高的版本中,对Kerberos 票证使用AES-256加密,因此必须在集群所有节点的JDK中安装Java Cr...

813
Fayson

0685-6.2.0-什么是Cloudera虚拟私有集群和SDX-续

本文是续上一篇文章《0667-6.2.0-什么是Cloudera虚拟私有集群和SDX》

991
Fayson

0684-如何配置Nginx高可用

本文通过Keepalived服务vip漂移的方式配置Nginx的高可用;当vip所在节点的Nginx服务宕掉后,会将vip漂移到另外一个节点。而在配置Nginx...

1224
Fayson

0683-6.2.0-通过Nginx获取CDSW的登录信息-续-3

在上一篇文章《6.2.0-通过Nginx获取CDSW的登录信息(续2)》中,通过Nginx的配置进一步捕获了用户的一些操作,然后存入数据库中进行查询分析,具体是...

1165
Fayson

0682-Cloudera Enterprise 6.3.0发布

Cloudera于7月31日宣布正式发布CDH6.3,此版本提供了许多新功能,改进了可用性,性能提升以及对更现代的Java和身份管理基础设施软件的支持(Free...

2002
Fayson

0681-6.2.0-如何在HDFS自动创建用户主目录

3.登陆Hue用管理员账号,点击管理用户,可以看到当前只有admin这一个用户存在

1497
Fayson

0680-5.16.1-impala-shell导出数据存在中文异常问题

Fayson在使用impala-shell -i hosts -d default -f test.sql -o test.txt, 导出结果数据时,发现执行S...

1431
Fayson

0679-6.2.0-通过Nginx获取CDSW的登录信息-续-2

在上一篇文章《6.2.0-通过Nginx获取CDSW的登录信息(续)》中,通过Nginx的配置进一步捕获了用户的一些操作,然后存入数据库中进行查询分析,捕获了当...

641
Fayson

Hive在DB-Engine的排名已经超过Teradata

也不知怎么滴,每当有一个新的数据库出来的时候,都会把Hive大哥拉出来遛一圈,踩几脚,然后再总结一下:我比你快XX倍。早些年听到这些,心中还会升起一股无名火...

1273
Fayson

HDFS Router-based Federation

Hadoop 社区为了解决 HDFS 横向扩展的问题,早前的版本中实现了基于 ViewFs 的 Federation 架构,而在最新的 Hadoop 版本中,社...

1363
Fayson

0678-6.2.0-如何在CDH中使用HDFS分层存储

在前面的文章中,Fayson介绍过什么是HDFS分层存储,参考《6.2.0-什么是HDFS分层存储》。这个功能很早CDH就支持了,本文基于CDH6.2实际演示如...

1242
Fayson

0677-在CDSW1.6中使用你喜爱的编辑器

自2017年Cloudera Data Science Workbench(CDSW)推出以来,我们一直致力于加速企业数据科学从研究到生产。我们正在帮助IQVI...

1263
Fayson

0676-5.16.2-Apache Phoenix for CDH

今天,Cloudera正式宣布在CDH中支持Apache Phoenix,同时也会集成到未来的Cloudera Data Platform中。

1112
Fayson

0675-6.2.0-什么是HDFS分层存储

CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在,您可以为DataNode数据目录指定不同的存储类型,这样可以...

1145
Fayson

YuniKorn:一个通用的资源调度程序

本文翻译自https://blog.cloudera.com/blog/2019/07/yunikorn-a-universal-resource-schedu...

952
Fayson

史上最全-mysql迁移到clickhouse的5种办法

https://anjia0532.github.io/2019/07/17/mysql-to-clickhouse/

2102

扫码关注云+社区

领取腾讯云代金券