腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
返回腾讯云官网
大数据技术
分享大数据技术相关知识
专栏成员
举报
30
文章
4186
阅读量
14
订阅数
订阅专栏
申请加入专栏
全部文章（30）
大数据（29）
hadoop（13）
spark（11）
kafka（8）
flink（6）
sql（3）
hive（3）
hdfs（3）
zookeeper（2）
数据仓库（2）
java（1）
yarn（1）
lambda（1）
rdd（1）
spark-streaming（1）
架构（1）
搜索文章
搜索
搜索
关闭
【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
hadoop
hdfs
java
在Hadoop HDFS的体系架构中，包含了三个组成部分。它们分别是：NameNode、DataNode和SecondaryNameNode。下图摘至Hadoop官方的网站，它说明了HDFS的体系架构。
赵渝强老师
2025-03-02
92
0
【赵渝强老师】Kafka消息的消费模式
kafka
大数据
Kafka消费者组中的消息消费模型有两种，即：推送模式（push）和拉取模式（pull）。视频讲解如下：
赵渝强老师
2025-03-01
93
0
【赵渝强老师】Kafka的消费者与消费者组
大数据
kafka
消费者就是从Kafka集群消费数据的客户端，下图展示了一个消费者从主题中消费数据的模型。
赵渝强老师
2025-02-26
67
0
【赵渝强老师】Kafka生产者的消息发送方式
大数据
kafka
Kafka生产者有三种方式进行消息的发送，这三种方式区别在于对于消息是否正常到达的处理。视频讲解如下：
赵渝强老师
2025-02-23
66
0
【赵渝强老师】Kafka生产者的执行过程
大数据
kafka
Kafka的生产者Producer将消息序列化之后，发送到对应主题的指定分区上。下图为展示了生产者的执行过程。
赵渝强老师
2025-02-22
59
0
【赵渝强老师】Spark RDD的缓存机制
spark
大数据
Spark RDD通过persist方法或cache方法可以将计算结果的缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD才会被缓存在计算节点的内存中并供后面重用。下面是persist方法或cache方法的函数定义：
赵渝强老师
2025-02-19
81
0
【赵渝强老师】Spark的容错机制：检查点
大数据
spark
由于Spark的计算是在内存中完成，因此任务执行的生命周期lineage（血统）越长，执行出错的概念就会越大。Spark通过检查点Checkpoint的方式，将RDD的状态写入磁盘进行持久化的保存从而支持容错。如果在检查点之后有节点出现了问题，Spark只需要从检查点的位置开始重新执行lineage就可以了，这样就减少了开销。设置checkpoint的目录，可以是本地的文件夹，也可以是HDFS。
赵渝强老师
2025-02-13
79
0
【赵渝强老师】Spark RDD的依赖关系和任务阶段
大数据
rdd
spark
Spark RDD彼此之间会存在一定的依赖关系。依赖关系有两种不同的类型：窄依赖和宽依赖。
赵渝强老师
2025-02-01
70
0
【赵渝强老师】Hive的分区表
hadoop
hive
大数据
数据仓库
sql
Hive的分区表跟Oracle、MySQL中分区表的概念是一样的。当表上建立了分区，就会根据分区的条件从物理存储上将表中的数据进行分隔存储。而当执行查询语句时候，也会根据分区的条件扫描特定分区中的数据，从而避免全表扫描以提高查询的效率。Hive分区表中的每个分区将会在HDFS上创建一个目录，分区中的数据则是该目录下的文件。在执行查询语句时，可以通过SQL的执行计划了解到是否在查询的时候扫描的特定的分区。视频讲解如下：
赵渝强老师
2024-10-28
162
0
【赵渝强老师】Hive的内部表与外部表
sql
hadoop
hive
大数据
数据仓库
Hive是基于HDFS之上的数据仓库，它把所有的数据存储在HDFS中，Hive并没有专门的数据存储格式。当在Hive中创建了表，可以使用load语句将本地或者HDFS上的数据加载到表中，从而使用SQL语句进行分析和处理。
赵渝强老师
2024-10-25
185
0
【赵渝强老师】基于ZooKeeper实现Hadoop HA
spark
hadoop
zookeeper
大数据
flink
由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在部署HDFS HA的时候，也可以同时部署Yarn的HA。每个节点上部署的服务如下表所示：
赵渝强老师
2024-09-18
138
0
【赵渝强老师】大数据主从架构的单点故障
spark
hadoop
zookeeper
大数据
flink
大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。
赵渝强老师
2024-09-05
98
0
【赵渝强老师】大数据生态圈中的组件
spark
hadoop
大数据
kafka
flink
大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件，以及它们的作用又是什么。
赵渝强老师
2024-09-04
218
0
【赵渝强老师】大数据技术的理论基础
spark
hadoop
大数据
flink
大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此Google将其核心技术的思想以论文的形式公开发表出来，这就是"Google的三驾马车"，即：Google的文件系统、MapReduce分布式计算模型和BigTable大表。这三篇论文奠定了大数据生态圈体系中的技术核心，从而有了基于Java的实现框架------Hadoop生态圈体系。进一步发展起来了后续的Spark生态圈体系和Flink生态圈体系。
赵渝强老师
2024-09-03
176
0
【赵渝强老师】Spark中的RDD
spark
大数据
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。它由分区组成，每个分区被一个Spark的Worker从节点处理，从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式提供自动容错的功能，并且具有位置感知性调度和可伸缩的特性。通过RDD也提供缓存的机制，可以极大地提高数据处理的速度。
赵渝强老师
2024-08-21
178
0
【赵渝强老师】基于RBF的HDFS联邦架构
hadoop
大数据
hdfs
在最新的Hadoop版本中又实现了基于Router的联盟架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来，解决了ViewFS存在的问题。
赵渝强老师
2024-08-18
260
0
【赵渝强老师】Spark Streaming中的DStream
大数据
spark-streaming
spark
要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream，翻译成中文是离散流。它是Spark Streaming对流式数据的基本数据抽象，或者说是Spark Streaming的数据模型。DStream的核心是通过时间的采用间隔将连续的数据流转换成是一系列不连续的RDD，在由Transformation进行转换，从而达到处理流式数据的目的。因此从表现形式上看，DStream是由一系列连续的RDD组成，因此DStream也就具备了RDD的特性。
赵渝强老师
2024-08-17
157
0
【赵渝强老师】Spark SQL的数据模型：DataFrame
spark
大数据
sql
通过SQL语句处理数据的前提是需要创建一张表，在Spark SQL中表被定义DataFrame，它由两部分组成：表结构的Schema和数据集合RDD，下图说明了DataFrame的组成。
赵渝强老师
2024-08-15
120
0
【赵渝强老师】Kafka分区的副本机制
大数据
kafka
在Kafka中每个主题可以有多个分区，每个分区又可以有多个副本。在这多个副本中，只有一个副本的角色是Leader，而其他副本的角色都是Follower。仅有Leader副本所在的Kafka Broker可以对外提供服务。Follower副本通常不会存放在Leader副本所在的Kafka Broker上。通过这样的机制实现了高可用，当Leader副本所在的Kafka Broker宕机后，其他Follower副本所在的Kafka Broker就能够被选举成为新的Leader。
赵渝强老师
2024-08-13
92
0
【赵渝强老师】Kafka的主题与分区
大数据
kafka
Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题，而消费者负责订阅主题进行消费。主题可以分为多个分区，一个分区只属于某一个主题。下面为列举了主题和分区的关系：
赵渝强老师
2024-08-13
99
0
点击加载更多
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
