soundhearer

LV0
发表了文章

深入理解HDFS 一

Hadoop的发展至今已经有十余年的历史了,其核心设计HDFS和MapReduce,分别解决了海量数据的存储和计算这两个问题。

soundhearer
发表了文章

Impala MetaData问题

Impala的核心组件是Impalad,提供查询服务,catalogd缓存和获取元数据,statestored则负责把元数据更新到每个impalad节点上。

soundhearer
发表了文章

Ranger同步ldap组问题

按照我们之前的配置,在CDH7.1.1上为Ranger集成OpenLDAP认证这边文章中,我们为Ranger集成了OpenLDAP认证,刚开始给Hive、HDF...

soundhearer
发表了文章

Kudu遇到的问题

kudu已经集成在了CDP runtime中,安装比较简单,选择master和tablet之后,配置数据目录即可

soundhearer
发表了文章

如何通过Cloudera Manager页面自定义图表

在Cloudera Manager中我么可以看到很多图表,CDH的组件如HDFS、HBase等都有大量的描述CPU、磁盘、作业队列等的图表,这些图表可以通过ts...

soundhearer
发表了文章

安装OpenLDAP和客户端

生产环境中CDH集群需要启用安全认证,在CDH7以后,Ranger被替换成了Ranger,因此启用安全认证的步骤包括:集群安装并启用Kerberos,安装Ope...

soundhearer
发表了文章

MySQL常见问题一

这个错误一般发生在mysql 5.7以及 5.7以上的版本中,其原因是mysql的默认配置中,sql_mode="ONLY_FULL_GROUP_BY" 这个配...

soundhearer
发表了文章

OpenLDAP集成sssd同步用户并集成SSH登录

sssd服务是一个守护进程,该进程可以用来访问多种验证服务器,如LDAP,Kerberos等,并提供授权。SSSD是 介于本地用户和数据存储之间的进程,本地客户...

soundhearer
发表了文章

如何通过Cloudera Manager的API获取集群告警信息

告警监控对于一个集群来说,其重要性不言而喻。Cloudera Manager的告警功能非常详尽,CDH集群出现的异常、故障信息等都会及时地出现在CM页面上,通过...

soundhearer
发表了文章

安装Grafana并使用Cloudera Manager DataSource

Grafana是一个Go语言编写的开源度量分析与可视化套件,经常被用作基础设施的时间序列数据和应用程序分析的可视化。本文主要讲述如何安装Grafana并使用Cl...

soundhearer
发表了文章

Hive Impala和Hue集成LDAP

重启之前将身份验证后端修改为desktop.auth.backend.AllowFirstUserDjangoBackend

soundhearer
发表了文章

Hue执行多条语句问题

Hue是一个大数据交互式分析平台,目前在大数据领域中应用还是比较广泛的。它是Cloudera贡献出来的,已经发展得比较成熟了,支持绝大多数常用的大数据组件。虽然...

soundhearer
发表了文章

flume kafka和sparkstreaming整合

本文介绍Flume、Kafka和Sparkstreaming的整合。代码流程是,我们通过shell脚本重播测试轨迹数据到指定轨迹文件中,使用Flume监听该轨迹...

soundhearer
发表了文章

DiDi Kafka-Manager安装和简单使用

之前本来想装kafka-manager,现在叫做CMAK,后来发现滴滴开源的kafka-manager,功能更丰富。看了下它的架构图和源码,还是很值得参考和借鉴...

soundhearer
发表了文章

HBase入门

HBase在大数据生态中的地位举足轻重,它是谷歌bigtable的开源实现,是一种分布式存储的NoSQL数据库,能自动分片和故障转移,与HDFS高度集成,适合海...

soundhearer
发表了文章

误删cloudera-scm-agent恢复

之前在测试集群在折腾Cloudera Manager,有一次误把cloudera-scm-agent给删了。原因是卸载httpd的时候,没有发现cloudera...

soundhearer
发表了文章

MySQL主从复制

编写复杂的SQL语句一开始让我觉得很困难,当你熟悉了类似Java等的面向对象编程语言,要适应面向集合的SQL语言,还是需要一段时间的。不过作为一名数据工程师,不...

soundhearer
发表了文章

初探 Spark ML 第一部分

之前担任数据工程师时,由于不熟悉机器学习的流程,团队分工又很细,沟通不畅,机器学习工程师也没有和我谈论数据质量的问题,对于异常值,我采用的做法只是简单地过滤掉,...

soundhearer
发表了文章

如何升级CDH7.1.1到CDH7.1.3

CDH7.1.3 中 Ozone终于可以正式用于生产环境了。为了直观体验Ozone,我们需要把现有CDH7.1.1集群升级到CDH7.1.3。如何升级CDH集群...

soundhearer
发表了文章

安装Ambari和HDP

最新的CDH已经没有了社区版,也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的,这对于很多小公司来说,可能无法承受。转向Ambari...

soundhearer

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券