长远的EMR

14 篇文章
14 人订阅

全部文章

EMR入门学习

EMR入门学习之YARN的基本操作(十五)

Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一,YARN...

13510
EMR入门学习

EMR入门学习之NameNode HA(十四)

NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问。为了提高HDFS的高可用性,在 Hadoop2....

6120
EMR入门学习

EMR入门学习之HDFS的运维操作(十三)

HDFS是分布式文件系统。HDFS支持fsck命令来检查系统中的各种不一致状况。我们可以使用fsck 来查看当前文件系统的状态。该命令提供了若干选项,不同选项完...

6400
EMR入门学习

EMR入门学习之Ranger操作使用(十二)

为了获得集群数据访问控制能力,在创建集群的时候,请勾选ranger组件。在集群初始化完成后,请在组件快捷入口中,找到ranger的快捷访问入口,并登陆range...

9010
EMR入门学习

EMR入门学习之Hue上创建工作流(十一)

本文将通过一个简单,并且具有典型代表的例子,描述如何使用EMR产品中的Hue组件创建工作流,并使该工作流每天定时执行。

9520
EMR入门学习

EMR入门学习之使用Java连接Hive(十)

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发。Hive 的 Hive...

13240
EMR入门学习

EMR入门学习之HBase数据迁移(九)

从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。

14430
EMR入门学习

EMR入门学习之腾讯云对象存储COS(八)

COS(Cloud Object Storage),一种海量的分布式存储服务,用户可以随时通过互联网对大量数据进行批量存储,兼具性能与共享能力,适用于大数据场景...

14730
EMR入门学习

EMR入门学习之通过SparkSQL操作示例(七)

导语:Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象,并且可以充当分布式 SQL ...

12530
EMR入门学习

EMR入门学习之MR、Tez、Spark之间的关系(六)

Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错...

18620
EMR入门学习

EMR入门学习之HDFS上的一些常见Shell命令(五)

文件系统(FS)shell包括各种类似shell的命令,这些命令直接与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统交互,例如本地FS...

13900
EMR入门学习

EMR入门学习之集群的监控与告警(四)

登录【控制台】,选择【弹性MapReduce】进入左侧的【集群监控】,可以看到监控分为服务监控与主机监控

12000
EMR入门学习

EMR入门学习之EMR集群的常用操作(三)

前言:上一篇我们了解了EMR集群的搭建,也了解到了集群节点的基本规格和硬件配置,那么本篇我们将学习一些集群的一些常用操作,比如集群的扩容、缩容以及COS对象存储...

19700
EMR入门学习

EMR入门学习之创建EMR集群(二)

集群是弹性 MapReduce( EMR )提供托管 服务的基本单元,也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台,快速创建 E...

22900
EMR入门学习

EMR入门学习之EMR初步介绍(一)

Elastic MapReduce(EMR)是腾讯云提供的云上 Hadoop 托管服务,提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性...

39500

扫码关注云+社区

领取腾讯云代金券