Hadoop实操-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏成员

974

文章

2438960

阅读量

707

订阅数

0875-7.1.7-如何在CentOS7.9中安装CDP Base

专用宿主机 jdk ntp http 数据库

1.文档编写目的本文档Fayson主要描述如何在CentOS7.9安装CDP Base7.1.7。CDP Base7与CDH5/6的安装步骤一致，主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群；测试环境 1.CM7.4.4+CDH7.1.7 2.CentOS7.9 3.OpenJDK1.8 4.MariaDB-5.5.64 5.root用户安装前置准备 2.1 ho

2022-04-13

2.1K0

0867-7.1.6-Hue中Spark Notebook与Livy集成问

kerberos spark hive http

本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。

2021-12-07

9470

0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

node.js yarn kerberos windows http

使用DAS查看日之前，需要先知道DAS如何安装，参考《0853-7.1.6-如何在CDP集群上安装DAS》，本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。

2021-07-28

1.7K0

0837-使用Knox代理连接开启Kerberos认证的Impala

云数据库 MySQL kerberos http jdbc 数据库

在 ODBC and JDBC Drivers（ODBC 和 JDBC 驱动程序）下，选择适合系统环境的 hive 或 Impala 的ODBC驱动程序下载，注意不是JDBC

2021-04-30

1.5K0

0805-CDH5中的Parquet迁移至CDP中兼容性验证

专用宿主机 sql hive http 腾讯云测试服务

因为CDH5中的Parquet版本为1.5，而CDP7中的Parquet版本为1.10，我们在从CDH5升级到CDP7后，无论是原地升级还是迁移升级，都可能会碰到一个问题，以前在CDH5中使用Hive/Impala生成的低版本Parquet文件还能继续在CDP7中使用吗。本文主要描述将CDH5中的Parquet文件传输到CDP7环境中，使用CDP7中的Hive，Impala，Spark确认能否继续访问这些文件。

2020-08-20

6830

5.16.2-如何在CDH中安装ElasticSearch

jquery Elasticsearch Service parcel http apache

1.将csd文件ELK-YX-20200617-1.0-SNAPSHOT.jar放置在cloudera-scm-server服务的csd目录下

2020-08-03

2K1

0728-6.3.0-如何在Redhat7.4安装CDH6.3

专用宿主机 jdk ntp http 数据库

Cloudera在2019年7月31日，对外宣布正式发布Cloudera Enterprise 6.3，相关介绍可以参考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0发布》，《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

2019-11-12

1.4K0

如何对CDH集群中的Impala打印线程堆栈

html5 python ubuntu http https

作者简介：黄权隆，Cloudera研发工程师，Apache Impala PMC & Comitter，毕业于北大计算机系网络所数据库实验室，曾就职于Hulu大数据基础架构团队，负责大数据系统的维护和二次开发，主要负责Impala和HBase方向。现就职于Cloudera，专注于Impala开发。

2019-11-11

3.2K0

0701-6.2.0-使用Solr7对结构化csv文件建立全文索引

lucene/solr 文件存储全文检索专用宿主机 http

在上一篇《6.2.0-使用Solr7对多种格式文件建立全文索引》中介绍了如何在CDH6.2.0中使用Solr7对多种格式的文件进行全文索引，测试中使用的主要是非结构化的word、ppt、pdf等非结构化的数据，很多时候需要使用Solr对结构化的数据进行索引，根据其中某些字段进行精准的查询或者范围查询，本文档将介绍如何使用Solr对csv文件建立全文索引。

2019-09-18

1.2K0

0655-6.2.0-CDH6.2安装Navigator无法访问异常分析

专用宿主机 html http 网站

在CDH6.2.0集群中安装好Navigator后，无法访问，浏览器显示如下报错：

2019-06-20

8210

0646-6.1.1-如何查看CDSW中其它用户创建的Public工程

unix http github git 开源

在CDSW中A用户创建的Public工程，B用户登录后无法查看A用户创建的Public工程，CDSW上也没有菜单能够查看其它用户创建的Public工程。本篇文章Fayson主要介绍如何查看CDSW中其它用户创建的Public工程。

2019-06-03

5860

0610-6.2.0-如何在Redhat7.4安装CDH6.2

专用宿主机 jdk ntp http 数据库

Cloudera在2019年3月30日，对外宣布正式发布Cloudera Enterprise 6.2，相关介绍可以参考Fayson昨天的文章《0585-Cloudera Enterprise 6.2.0发布》，《0589-Cloudera Manager6.2的新功能》和《0595-CDH6.2的新功能》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.2。CDH6与CDH5的安装步骤一致，主要包括以下四部分：

2019-05-13

2.5K0

HBase 读流程解析与优化的最佳实践

hbase TDSQL MySQL 版存储 http 数据库

本文首先对 HBase 做简单的介绍，包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析，并根据此流程介绍如何在客户端以及服务端优化性能，同时结合有赞线上 HBase 集群的实际应用情况，将理论和实践结合，希望能给读者带来启发。如文章有纰漏请在下面留言，我们共同探讨共同学习。

2019-04-29

1.3K0

0591-5.16.1-如何通过CM的API 获取集群告警信息

api http hive 专用宿主机

当集群中的服务有故障时，CM的界面上可以直接显示告警，你也可以通过CM的API去获取这些信息，本篇文章主要介绍CM的界面告警事件以及如何使用CM提供的API获取集群的告警信息

2019-04-28

2K0

Hadoop SQL客户端工具之Dbeaver安装及使用

hadoop sql git http jdbc

最近热心网友推荐了很多Hadoop平台的SQL客户端工具，Fayson在前面的文章《0459-如何使用SQuirreL通过JDBC连接CDH的Hive（方式一）》、《0463-如何使用SQuirreL通过JDBC连接CDH的Hive（方式二）》和《0465-如何使用SQuirreL访问Kerberos环境下的Hive》，简单的介绍了SQuirreL SQL Client的安装、注册Hive Driver以及使用。本篇文章Fayson主要介绍另外一款工具DBeaver的安装及使用。

2018-12-21

3.2K0

如何使用Java访问非Kerberos环境的HBase

java kerberos hbase git http

在前面的文章Fayson介绍了《如何使用Java连接Kerberos的HBase》，虽然非Kerberos环境下访问HBase比较简单，本篇文章Fayson还是主要介绍使用Java访问非Kerberos环境的HBase。

2018-11-19

1.5K0

答应我，别在CDH5中使用ORC好吗

git http hive java apache

当我们在使用ORC文件格式创建Hive表，并且对Hive表的schema进行更改后，然后进行如insert into…select或insert overwrite … select会报错，以下具体看看报错。

2018-11-16

3.1K0

如何为Spark应用启用Kerberos的Debug日志

spark kerberos git http jvm

在CDH集群启用了Kerberos后，在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候，那我们需要针对Spark作业进行调试，通过一些Debug日志查看认证失败的原因。本篇文章Fayson主要介绍如何为Spark的Driver和Executor的JVM启用Kerberos的Debug日志。

2018-11-16

2.3K0

Cloudera产品支持生命周期策略

git http erp apache hadoop

本文主要介绍Cloudera企业版产品支持的生命周期，包括CDH每个版本终止支持的预计日期。了解该策略主要是方便大家在规划搭建/升级CDH集群时的版本选择，不代表Cloudera的任何合同承诺。附录会对一些专业术语进行解释。

2018-11-16

1.2K0

CM上HDFS容量显示与实际命令不一致问题分析

git http hadoop 存储

使用hadoop fs -du –h /命令查看HDFS的使用情况，HDFS的使用为41.63GB

2018-11-16

3.7K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态