腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
EMR冲鸭
专栏作者
举报
15
文章
33186
阅读量
23
订阅数
订阅专栏
申请加入专栏
全部文章（15）
hadoop（6）
大数据（6）
sql（3）
mapreduce（3）
存储（3）
spark（3）
hive（3）
apache（2）
弹性 MapReduce（2）
yarn（2）
hbase（2）
云服务器（1）
对象存储（1）
javascript（1）
bash（1）
node.js（1）
xml（1）
数据库（1）
云数据库 SQL Server（1）
jar（1）
bash 指令（1）
腾讯云可观测平台（1）
TDSQL MySQL 版（1）
消息队列 CMQ 版（1）
消息队列 CKafka 版（1）
网站（1）
日志数据（1）
http（1）
分布式（1）
缓存（1）
tcp/ip（1）
kafka（1）
搜索文章
搜索
搜索
关闭
EMR(弹性MapReduce)入门之EMR集群的常用操作（四）
xml
bash
bash 指令
hive
yarn
在上一章我们学习了EMR集群的监控和报警功能，其实EMR集群还有很多功能会经常用到，我带着大家一起去了解一些其他的常用操作吧！
小司机带你入门EMR
2020-02-24
1.8K
0
EMR(弹性MapReduce)入门之kafka实战（十五）
消息队列 CKafka 版
kafka
hbase
消息队列 CMQ 版
tcp/ip
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
小司机带你入门EMR
2020-02-18
1.4K
0
EMR(弹性MapReduce)入门之组件Flume和Sqoop（十四）
大数据
数据库
日志数据
sql
hadoop
连接传统关系型数据库和Hadoop的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中； 把数据从 Hadoop 系统里抽取并导出到关系型数据库里
小司机带你入门EMR
2020-02-14
1.6K
0
EMR(弹性MapReduce)入门之组件Hue（十三）
spark
大数据
jar
sql
hadoop
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。
小司机带你入门EMR
2020-02-14
1.9K
0
EMR(弹性MapReduce)入门之其他组件使用和排障（十二）
sql
hive
hadoop
apache
大数据
服务器启动时，Impalad与StateStore保持心跳。首先Impala节点会将自己节点的状态信息汇报给Statestore，Statestore实时监控impalad是否发生故障。然后Catalog与Hive进行通信，将Hive中Metastore中的元数据信息拉取到自己的字节上，然后以广播的形式发送给每个状态良好的Impalad节点上，使各个节点上的元数据保持一致。然后当客户端进行提交sql请求的时候，不会再向那个hive中进行MRjob了，而是直接作用在Impalad上，直接在impalad上生成执行计划数，进行快速查询。Impalad由于作用在HDFS上或者HBase上的，所以不许转换成MR job的sql请求时非常快的了。Query任务的执行直接是作用在HDFS上的。
小司机带你入门EMR
2020-02-13
879
0
EMR(弹性MapReduce)入门之数据仓库工具Hive组件使用（十一）
hive
云数据库 SQL Server
mapreduce
apache
存储
Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。
小司机带你入门EMR
2020-02-13
1.8K
0
EMR(弹性MapReduce)入门之HBase集群的使用（十）
hbase
TDSQL MySQL 版
javascript
缓存
存储
Hbase单表可以有百亿行、百万列，数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性
小司机带你入门EMR
2020-02-12
1.4K
0
EMR(弹性MapReduce)入门之流计算引擎Flink、Storm（九）
mapreduce
hadoop
分布式
spark
大数据
Flink通过实现Google Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理，防止状态在计算过程中因为系统异常而出现丢失，Flink周期性地通过分布式快照技术Checkpoints实现状态的持久化维护，使得即使在系统停机或者异常的情况下都能计算出正确的结果。
小司机带你入门EMR
2020-02-12
1.6K
0
EMR(弹性MapReduce)入门之计算引擎Spark、Tez、MapReduce区别（八）
spark
mapreduce
hadoop
Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的。
小司机带你入门EMR
2020-02-11
2.4K
0
EMR(弹性MapReduce)入门之资源管理器YARN及其故障排除（七）
yarn
整个EMR的集群调度工具是YARN,那我们就继续学习下去吧。首先了解yarn的功能。
小司机带你入门EMR
2020-02-11
1.8K
0
EMR(弹性MapReduce)入门之腾讯云存储对象COS（六）
http
存储
大数据
网站
对象存储
在前面的几篇文章中大家已经跟着我了解了HDFS以及HDFS的一些基础排障，接下来我们呢继续学习。要学习到的产品是腾讯云产品中的对象存储COS。
小司机带你入门EMR
2020-02-10
1.8K
0
EMR(弹性MapReduce)入门之EMR集群的基础排障（五）
node.js
大数据
hadoop
前面四节已经向大家介绍完，EMR集群的概括和搭建以及集群内的一些操作，在实际的生产过程中，又会出现各式各样的故障。接着就为大家介绍一些常见的故障已经解决方法。
小司机带你入门EMR
2020-02-03
1.3K
0
EMR(弹性MapReduce)入门之EMR集群的监控和告警系统（三）
云服务器
腾讯云可观测平台
登录【控制台】，选择【弹性MapReduce】进入左侧的【集群监控】，可以看到监控分为服务监控与主机监控
小司机带你入门EMR
2020-01-19
1.6K
0
EMR(弹性MapReduce)入门之EMR集群的创建和集群的销毁（二）
弹性 MapReduce
确定地域：EMR集群搭建的地理位置，由于集群是通过公网访问，一般建议选择接近企业所在位置，网络传输效率会更快。
小司机带你入门EMR
2020-01-17
1.8K
0
EMR(弹性MapReduce)入门之初识EMR（一）
弹性 MapReduce
现在混迹技术圈的各位大佬，谁还没有听说过“大数据”呢？提起“大数据”不得不说就是Google的“三架马车”：GFS，MapReduce，Bigtable，分别代表着分布式文件系统、分布式计算、结构化存储系统。可以说这“三架马车”是大数据的基础。
小司机带你入门EMR
2020-01-16
10.1K
5
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档