首页标签弹性 MapReduce

#弹性 MapReduce

安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务

ClickHouse数据导入实战:HDFS篇

Raigor

在生产环境,经常遇到将HDFS上的数据导入ClickHouse集群的场景。本文介绍导入的详细步骤。

31020

EMR(弹性MapReduce)入门之EMR集群的创建和集群的销毁(二)

小司机带你入门EMR

确定地域:EMR集群搭建的地理位置,由于集群是通过公网访问,一般建议选择接近企业所在位置,网络传输效率会更快。

14930

EMR(弹性MapReduce)入门之初识EMR(一)

小司机带你入门EMR

现在混迹技术圈的各位大佬,谁还没有听说过“大数据”呢?提起“大数据”不得不说就是Google的“三架马车”:GFS,MapReduce,Bigtable,分别代...

432133

ResourceManager因为块丢失而重启失败

AAACCC

腾讯 · 开发工程师 (已认证)

在非HA情况下,如果HDFS中RM-Restart相关的块丢失,会导致RM无法启动。

18840

EMR入门学习之YARN的基本操作(十五)

披荆斩棘

Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一,YARN...

22910

EMR入门学习之NameNode HA(十四)

披荆斩棘

NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问。为了提高HDFS的高可用性,在 Hadoop2....

11120

EMR入门学习之HDFS的运维操作(十三)

披荆斩棘

HDFS是分布式文件系统。HDFS支持fsck命令来检查系统中的各种不一致状况。我们可以使用fsck 来查看当前文件系统的状态。该命令提供了若干选项,不同选项完...

12900

EMR入门学习之Ranger操作使用(十二)

披荆斩棘

为了获得集群数据访问控制能力,在创建集群的时候,请勾选ranger组件。在集群初始化完成后,请在组件快捷入口中,找到ranger的快捷访问入口,并登陆range...

16510

EMR入门学习之Hue上创建工作流(十一)

披荆斩棘

本文将通过一个简单,并且具有典型代表的例子,描述如何使用EMR产品中的Hue组件创建工作流,并使该工作流每天定时执行。

15020

EMR入门学习之使用Java连接Hive(十)

披荆斩棘

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发。Hive 的 Hive...

18440

EMR入门学习之HBase数据迁移(九)

披荆斩棘

从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。

26630

EMR入门学习之腾讯云对象存储COS(八)

披荆斩棘

COS(Cloud Object Storage),一种海量的分布式存储服务,用户可以随时通过互联网对大量数据进行批量存储,兼具性能与共享能力,适用于大数据场景...

21730

EMR入门学习之通过SparkSQL操作示例(七)

披荆斩棘

导语:Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象,并且可以充当分布式 SQL ...

17230

EMR入门学习之MR、Tez、Spark之间的关系(六)

披荆斩棘

Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错...

38820

EMR入门学习之HDFS上的一些常见Shell命令(五)

披荆斩棘

文件系统(FS)shell包括各种类似shell的命令,这些命令直接与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统交互,例如本地FS...

19900

EMR入门学习之集群的监控与告警(四)

披荆斩棘

登录【控制台】,选择【弹性MapReduce】进入左侧的【集群监控】,可以看到监控分为服务监控与主机监控

18100

EMR入门学习之EMR集群的常用操作(三)

披荆斩棘

前言:上一篇我们了解了EMR集群的搭建,也了解到了集群节点的基本规格和硬件配置,那么本篇我们将学习一些集群的一些常用操作,比如集群的扩容、缩容以及COS对象存储...

26600

EMR入门学习之创建EMR集群(二)

披荆斩棘

集群是弹性 MapReduce( EMR )提供托管 服务的基本单元,也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台,快速创建 E...

32600

EMR入门学习之EMR初步介绍(一)

披荆斩棘

Elastic MapReduce(EMR)是腾讯云提供的云上 Hadoop 托管服务,提供了便捷的 Hadoop 集群部署、软件安装、配置修改、监控告警、弹性...

67500

Hadoop专业解决方案-第5章 开发可靠的MapReduce应用

数据饕餮

本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到。第五章的源码根据本章的内容各自分别...

11110

扫码关注云+社区

领取腾讯云代金券