腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

算法channel

专栏作者

858

文章

1034218

阅读量

136

订阅数

深入浅出Kafka(3)：我的生命是如何运转的？

消息队列 CMQ 版 kafka hadoop zookeeper 分布式

Kafka作为一个消息系统，为什么会如此受欢迎？消息系统在不同系统传输数据中扮演着非常重要的角色。让我们看看没有消息系统的数据管道会怎样？

2019-07-23

6030

hadoop|计算框架从MapReduce1.0到Yarn

hadoop mapreduce yarn 分布式

01 — HDFS 前面介绍了hadoop的分布式存储框架（HDFS），这个框架解决了大数据存储的问题，这是第一步。知道海量数据如何存储后，脚步不能停留，下一步要设计一个框架，用来玩（计算）这些数据时，资源（计算机集群）该如何调度，比如已知1PB的数据存储在了集群（1000台电脑组成）中的10台计算机（DataNode）中，现在要对这些数据进行Map和Reduce计算，该如何做呢？在理解以下知识前，需要理解一些知识点。任何应用，比如打开一个word文档，打开QQ，都会占用一定的系统资源（CPU，内存，网

2018-04-02

1.3K0

Spark|有向无环图（DAG）检测

spark 编程算法大数据 hadoop

01 — Spark背景介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 RDD，全称为Resilient Distributed Datasets，中文翻译弹性分布式数据集，是一个容错的、

2018-04-02

2.6K0

HDFS|Shell操作命令

hadoop 分布式 shell

01 — HDFS中常用的命令 HDFS文件操作常有两种方式; 命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具； JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。 Hadoop最常用的文件操作命令，包括添加文件和目录、获取文件、删除文件等。看下Linux下的shell命令工具 HDFS命令基本格式：hadoop fs -cmd < args > cmd是具体的文件操作命令，<args>是一组数目可变的参数。 02 — 添加文件和目录 HDFS有

2018-04-02

1.4K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态