腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏作者

964

文章

2345842

阅读量

704

订阅数

Apache Druid 0.15.0版本发布

sql apache kafka 其他 https

Druid 是一款极高性能的数据库服务，以往的社区工作大多集中在提升大规模实时数据处理和历史数据查询等核心能力上。最近，相对于整体架构的核心升级，同时还照顾了一些“轻松”的方向，来帮助用户快速提升使用Druid的工作效率。

2019-07-15

2.2K1

0482-HDFS上一次检查点异常分析

点开来具体查看发现Active NameNode和Stanby NameNode都有上一次检查点的告警。

2018-12-27

1.6K0

0464-如何离线分析HDFS的FsImage查找集群小文件

随着Hadoop集群数据量的增长，集群中也同时会存在大量的小文件，即文件Size比HDFS的Block Size（默认128MB）小的多的文件。Hadoop集群中存在大量的小文件对集群造成的影响如下：

2018-12-19

3.5K1

0462-如何在Hue中创建Shell Action工作流续

Fayson在前面的文章《Hue中使用Oozie创建Shell工作流在脚本中切换不同用户》，里面介绍了Shell Action的创建，在文中我们相应的Shell脚本是放在每个Oozie作业对应的WorkSpace的lib目录下。对于一些对于所有用于都公用的Shell脚本可能放在HDFS的公共目录下，那这时创建Shell Action需要注意些什么呢？本篇文章Fayson主要介绍在Hue中创建Shell Action指定工作空间外的Shell脚本。

2018-12-17

8700

【简报】CDH和HDP的合并提前终止反垄断法的等待期

2018年11月19日，Cloudera和Hortonworks联合宣布，美国联邦贸易委员会（the U.S. Federal Trade Commission）根据1976年《哈特-斯科特-罗迪诺反托拉斯改进法》提前终止等待期（”HSR Act“），起因是今年10月两家公司宣布合并。

2018-12-17

8040

如何使用Cloudera Manager为Hadoop服务角色启用远程JMX访问

JMX（Java Management Extensions，即Java管理扩展）做Java开发的人都比较熟悉，它提供了一种在运行时动态资源的监控指标。JMX主要用于配置和监控资源状态，使用它可以监视和管理Java虚拟机。本篇文章Fayson主要介绍如何使用Cloudera Manager为Hadoop服务角色启用远程的JMX访问。

2018-12-17

2K0

0457-如何使用Cloudera Manager手动收集诊断包

如果您拥有Cloudera Enterprise许可证，那么我们就能借助于Cloudera Manager提供的收集集群诊断包功能，通过Cloudera的后台Support对诊断包进行分析，为您提供集群健康诊断及优化改进建议。Cloudera Manager提供自动收集和手动收集诊断包方式，在多数企业内网环境无法将诊断包信息直接发送至后台Support，通常使用手动收集的方式。本篇文章Fayson主要介绍如何使用Cloudera Manager手动收集诊断包。

2018-12-17

9920

0461-CDH6.0扩容异常分析

1.在CDH6.0中，点击“主机”->“所有主机”->“向群集添加新主机”，会出现异常如下：

2018-12-17

9540

如何在Hadoop中处理小文件-续

Fayson在前面的文章《如何在Hadoop中处理小文件》和《如何使用Impala合并小文件》中介绍了什么是Hadoop中的小文件，以及常见的处理方法。这里Fayson再补充一篇文章进行说明。

2018-11-19

2.7K0

Hive作业产生的临时数据占用HDFS空间大问题处理

Hive作业在运行时会在HDFS的临时目录产生大量的数据文件，这些数据文件会占用大量的HDFS空间。这些文件夹用于存储每个查询的临时或中间数据集，并且会在查询完成时通常由Hive客户端清理。但是，如果Hive客户端异常终止，可能会导致Hive作业的临时或中间数据集无法清理，从而导致Hive作业临时目录占用大量的HDFS空间。本篇文章Fayson主要介绍如何解决清理Hive作业产生的临时文件。

2018-11-16

7.2K1

如何在Kerberos环境下修改启用HA的CDH集群HOSTNAME

Fayson在前面的文章《如何修改Kerberos的CDH集群的HOSTNAME》介绍了修改集群的HOSTNAME，在文章中并未提到集群启用HA的情况，本篇文章Fayson主要介绍在Kerberos环境下启用HA的CDH集群修改HOSTNAME。

2018-11-16

6040

如何在Kerberos环境的CDH集群外跨OS版本中在指定目录配置HDFS的Gateway节点

在前面的文章Fayson介绍了《如何在CDH集群外配置非Kerberos环境的Gateway节点》和《如何在CDH集群外配置Kerberos环境的Gateway节点》,本文档在这两篇文档本篇文章基础介绍如何在Kerberos环境的CDH集群外跨OS版本中在指定目录配置HDFS的Gateway节点。

2018-11-16

1.3K0

如何使用Cloudera Manger自定义部署Parcel包

我们知道包括CDH其他所有额外的服务或者第三方插件，Cloudera Manger都是以Parcel的形式来安装和管理，Parcel是一个非常神奇和方便的东西，将所有的东西都打包进去，免去你管理无数个rpm安装包的烦恼。使用Cloudera Manger安装Parcel包有三种选择：

2018-11-16

7K0

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用。本篇文章主要介绍如何配置Impala的放置规则，通过一个场景进行描述，在不给作业指定资源池的情况，通过Impala的放置策略将不同的用户提交的SQL分配到不同的资源池中。

2018-11-16

3.8K0

如何启用Impala的动态资源池

在Cloudera Manager中动态资源池分为Yarn的动态资源池和Impala的动态资源池两种。Fayson在前面有多篇文章介绍了Yarn动态资源池的使用。本篇文章Fayson主要介绍如何通过CM启用Impala的动态资源池及介绍。

2018-11-16

3.5K0

如何指定Spark1作业中Driver和Executor使用指定范围内端口

在CDH集群中提交Spark作业，大家也都知道Spark的Driver和Executor之间通讯端口是随机的，Spark会随选择1024和65535（含）之间的端口，因此在集群之间不建议启用防火墙。在前面Fayson介绍了《如何指定Spark2作业中Driver和Executor使用指定范围内端口》，本篇文章Fayson主要介绍如何指定Spark1作业中Driver和Executor使用指定范围内的端口进行通讯。

2018-11-16

2K0

如何在Hive中使用Struct类型

Hive中支持多种数据类型除了常用的TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、BINARY、TIMESTAMP、DECIMAL、DATE、VARCHAR、CHAR类型外，当然还包含一些复杂的数据类型（array、map、struct、union）。本篇文章Fayson主要介绍在Hive中使用Struct类型存储数据。

2018-11-16

10.7K0

如何在Hive中使用Map类型

在前面的文章Fayson介绍了《Hive创建外部表CSV数据中列含有逗号问题处理》。本篇文章Fayson主要介绍在Hive中使用Map类型存储数据。

2018-11-16

21.1K0

如何在Hue中调优Impala和Hive查询

Hue中使用Hive和Impala进行查询，在使用完Hue后退出登录，会出现Hive和Impala的暂用的资源未释放。本篇文章Fayson主要针对该问题在Hue中调优Impala和Hive查询，该调优方式适用于CDH5.2及以后版本。

2018-11-16

5.7K0

Hive创建外部表CSV数据中列含有逗号问题处理

在不能修改示例数据的结构情况下，这里需要使用Hive提供的Serde，在Hive1.1版本中提供了多种Serde，此处的数据通过属于CSV格式，所以这里使用默认的org.apache.hadoop.hive.serde2.OpenCSVSerde类进行处理。经过修改后的建表语句如下：

2018-11-16

7.2K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态