腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

乘风破浪

专栏作者

15

文章

31489

阅读量

21

订阅数

EMR入门学习之YARN的基本操作（十五）

弹性 MapReduce

Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一，YARN 负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。

2019-11-22

1.8K0

EMR入门学习之NameNode HA（十四）

弹性 MapReduce

NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问。为了提高HDFS的高可用性，在 Hadoop2.0 中，HDFS NameNode支持了高可用架构，如下图。

2019-11-22

7660

EMR入门学习之HDFS的运维操作（十三）

弹性 MapReduce

HDFS是分布式文件系统。HDFS支持fsck命令来检查系统中的各种不一致状况。我们可以使用fsck 来查看当前文件系统的状态。该命令提供了若干选项，不同选项完成不同的功能。

2019-11-22

1.2K0

EMR入门学习之Ranger操作使用（十二）

弹性 MapReduce

为了获得集群数据访问控制能力，在创建集群的时候，请勾选ranger组件。在集群初始化完成后，请在组件快捷入口中，找到ranger的快捷访问入口，并登陆ranger的管理页面。

2019-11-22

1.4K0

EMR入门学习之Hue上创建工作流（十一）

弹性 MapReduce

本文将通过一个简单，并且具有典型代表的例子，描述如何使用EMR产品中的Hue组件创建工作流，并使该工作流每天定时执行。

2019-11-22

1.4K0

EMR入门学习之使用Java连接Hive（十）

弹性 MapReduce

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveServer2 就是基于 Thrift 的，所以能让不同的语言如 Java、Python 来调用 Hive 的接口。对于 Java，Hive 提供了 jdbc 驱动，用户可以使用 Java 代码来连接 Hive 并进行一系列操作。

2019-11-18

1.2K0

EMR入门学习之HBase数据迁移（九）

弹性 MapReduce

从上面图中可看出，目前的方案主要有四类，Hadoop层有一类，HBase层有三类。下面分别介绍一下。

2019-11-18

1.8K0

EMR入门学习之腾讯云对象存储COS（八）

对象存储弹性 MapReduce

COS（Cloud Object Storage），一种海量的分布式存储服务，用户可以随时通过互联网对大量数据进行批量存储，兼具性能与共享能力，适用于大数据场景，访问接口多样化，控制台、API、SDK。

2019-11-18

3.1K0

EMR入门学习之通过SparkSQL操作示例（七）

弹性 MapReduce

导语：Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象，并且可以充当分布式 SQL 查询引擎。

2019-11-18

1.4K0

EMR入门学习之MR、Tez、Spark之间的关系（六）

弹性 MapReduce

Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。

2019-11-18

3.7K0

EMR入门学习之HDFS上的一些常见Shell命令（五）

弹性 MapReduce

文件系统（FS）shell包括各种类似shell的命令，这些命令直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统交互，例如本地FS，HFTP FS，S3 FS等。HDFS文件系统相关操作，主要使用以下2个命令：

2019-11-13

1.5K0

EMR入门学习之集群的监控与告警（四）

弹性 MapReduce

登录【控制台】，选择【弹性MapReduce】进入左侧的【集群监控】，可以看到监控分为服务监控与主机监控

2019-11-13

1.4K0

EMR入门学习之EMR集群的常用操作（三）

弹性 MapReduce

前言：上一篇我们了解了EMR集群的搭建，也了解到了集群节点的基本规格和硬件配置，那么本篇我们将学习一些集群的一些常用操作，比如集群的扩容、缩容以及COS对象存储的开启等一些注意事项。

2019-11-13

1.5K0

EMR入门学习之创建EMR集群（二）

弹性 MapReduce

集群是弹性 MapReduce（ EMR ）提供托管服务的基本单元，也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台，快速创建 EMR 集群。

2019-11-13

3.3K0

EMR入门学习之EMR初步介绍（一）

弹性 MapReduce

Elastic MapReduce（EMR）是腾讯云提供的云上 Hadoop 托管服务，提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性伸缩等功能，EMR部署在腾讯云平台（CVM）上，配合消息中间件、CDB等产品为企业提供了一套较为完善的大数据处理方案。如下图所示为EMR系统架构图：

2019-11-13

6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态