首页
学习
活动
专区
工具
TVP
发布

Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏成员
974
文章
2436631
阅读量
707
订阅数
0875-7.1.7-如何在CentOS7.9中安装CDP Base
1.文档编写目的 本文档Fayson主要描述如何在CentOS7.9安装CDP Base7.1.7。CDP Base7与CDH5/6的安装步骤一致,主要包括以下四部分: 1.安全前置准备,包括安装操作系统、关闭防火墙、同步服务器时钟等; 2.外部数据库如MySQL安装 3.安装Cloudera Manager; 4.安装CDH集群; 测试环境 1.CM7.4.4+CDH7.1.7 2.CentOS7.9 3.OpenJDK1.8 4.MariaDB-5.5.64 5.root用户安装 前置准备 2.1 ho
Fayson
2022-04-13
2.1K0
0867-7.1.6-Hue中Spark Notebook与Livy集成问
本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。
Fayson
2021-12-07
9450
0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志
使用DAS查看日之前,需要先知道DAS如何安装,参考《0853-7.1.6-如何在CDP集群上安装DAS》,本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。
Fayson
2021-07-28
1.7K0
0837-使用Knox代理连接开启Kerberos认证的Impala
在 ODBC and JDBC Drivers(ODBC 和 JDBC 驱动程序)下,选择适合系统环境的 hive 或 Impala 的ODBC驱动程序下载,注意不是JDBC
Fayson
2021-04-30
1.5K0
0805-CDH5中的Parquet迁移至CDP中兼容性验证
因为CDH5中的Parquet版本为1.5,而CDP7中的Parquet版本为1.10,我们在从CDH5升级到CDP7后,无论是原地升级还是迁移升级,都可能会碰到一个问题,以前在CDH5中使用Hive/Impala生成的低版本Parquet文件还能继续在CDP7中使用吗。本文主要描述将CDH5中的Parquet文件传输到CDP7环境中,使用CDP7中的Hive,Impala,Spark确认能否继续访问这些文件。
Fayson
2020-08-20
6820
5.16.2-如何在CDH中安装ElasticSearch
1.将csd文件ELK-YX-20200617-1.0-SNAPSHOT.jar放置在cloudera-scm-server服务的csd目录下
Fayson
2020-08-03
2K1
0728-6.3.0-如何在Redhat7.4安装CDH6.3
Cloudera在2019年7月31日,对外宣布正式发布Cloudera Enterprise 6.3,相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》,《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
Fayson
2019-11-12
1.4K0
如何对CDH集群中的Impala打印线程堆栈
作者简介:黄权隆,Cloudera研发工程师,Apache Impala PMC & Comitter,毕业于北大计算机系网络所数据库实验室,曾就职于Hulu大数据基础架构团队,负责大数据系统的维护和二次开发,主要负责Impala和HBase方向。现就职于Cloudera,专注于Impala开发。
Fayson
2019-11-11
3.2K0
0701-6.2.0-使用Solr7对结构化csv文件建立全文索引
在上一篇《6.2.0-使用Solr7对多种格式文件建立全文索引》中介绍了如何在CDH6.2.0中使用Solr7对多种格式的文件进行全文索引,测试中使用的主要是非结构化的word、ppt、pdf等非结构化的数据,很多时候需要使用Solr对结构化的数据进行索引,根据其中某些字段进行精准的查询或者范围查询,本文档将介绍如何使用Solr对csv文件建立全文索引。
Fayson
2019-09-18
1.2K0
0655-6.2.0-CDH6.2安装Navigator无法访问异常分析
在CDH6.2.0集群中安装好Navigator后,无法访问,浏览器显示如下报错:
Fayson
2019-06-20
8210
0646-6.1.1-如何查看CDSW中其它用户创建的Public工程
在CDSW中A用户创建的Public工程,B用户登录后无法查看A用户创建的Public工程,CDSW上也没有菜单能够查看其它用户创建的Public工程。本篇文章Fayson主要介绍如何查看CDSW中其它用户创建的Public工程。
Fayson
2019-06-03
5850
0610-6.2.0-如何在Redhat7.4安装CDH6.2
Cloudera在2019年3月30日,对外宣布正式发布Cloudera Enterprise 6.2,相关介绍可以参考Fayson昨天的文章《0585-Cloudera Enterprise 6.2.0发布》,《0589-Cloudera Manager6.2的新功能》和《0595-CDH6.2的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.2。CDH6与CDH5的安装步骤一致,主要包括以下四部分:
Fayson
2019-05-13
2.5K0
HBase 读流程解析与优化的最佳实践
本文首先对 HBase 做简单的介绍,包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析,并根据此流程介绍如何在客户端以及服务端优化性能,同时结合有赞线上 HBase 集群的实际应用情况,将理论和实践结合,希望能给读者带来启发。如文章有纰漏请在下面留言,我们共同探讨共同学习。
Fayson
2019-04-29
1.3K0
0591-5.16.1-如何通过CM的API 获取集群告警信息
当集群中的服务有故障时,CM的界面上可以直接显示告警,你也可以通过CM的API去获取这些信息,本篇文章主要介绍CM的界面告警事件以及如何使用CM提供的API获取集群的告警信息
Fayson
2019-04-28
2K0
Hadoop SQL客户端工具之Dbeaver安装及使用
最近热心网友推荐了很多Hadoop平台的SQL客户端工具,Fayson在前面的文章《0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)》、《0463-如何使用SQuirreL通过JDBC连接CDH的Hive(方式二)》和《0465-如何使用SQuirreL访问Kerberos环境下的Hive》,简单的介绍了SQuirreL SQL Client的安装、注册Hive Driver以及使用。本篇文章Fayson主要介绍另外一款工具DBeaver的安装及使用。
Fayson
2018-12-21
3.2K0
如何使用Java访问非Kerberos环境的HBase
在前面的文章Fayson介绍了《如何使用Java连接Kerberos的HBase》,虽然非Kerberos环境下访问HBase比较简单,本篇文章Fayson还是主要介绍使用Java访问非Kerberos环境的HBase。
Fayson
2018-11-19
1.5K0
答应我,别在CDH5中使用ORC好吗
当我们在使用ORC文件格式创建Hive表,并且对Hive表的schema进行更改后,然后进行如insert into…select或insert overwrite … select会报错,以下具体看看报错。
Fayson
2018-11-16
3.1K0
如何为Spark应用启用Kerberos的Debug日志
在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,通过一些Debug日志查看认证失败的原因。本篇文章Fayson主要介绍如何为Spark的Driver和Executor的JVM启用Kerberos的Debug日志。
Fayson
2018-11-16
2.3K0
Cloudera产品支持生命周期策略
本文主要介绍Cloudera企业版产品支持的生命周期,包括CDH每个版本终止支持的预计日期。了解该策略主要是方便大家在规划搭建/升级CDH集群时的版本选择,不代表Cloudera的任何合同承诺。附录会对一些专业术语进行解释。
Fayson
2018-11-16
1.2K0
CM上HDFS容量显示与实际命令不一致问题分析
使用hadoop fs -du –h /命令查看HDFS的使用情况,HDFS的使用为41.63GB
Fayson
2018-11-16
3.7K0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档