由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、b...

本文主要记录电力行业客户的数据湖技术方案实践案例，方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive，基于Hive catalog统一元数...

大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。

大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习...

大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此...

结合日常项目需求，本文总结记录spark streaming和structured streaming 比较常用的使用案例，如：kafka2hdfs、 k...

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。它由分区组成，每个分区...

要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streami...

通过SQL语句处理数据的前提是需要创建一张表，在Spark SQL中表被定义DataFrame，它由两部分组成：表结构的Schema和数据集合RDD，下图说明了...

Spark的生态圈体系架构与Hadoop略有不同。因为在Spark中只有数据的计算部分，没有数据的存储部分，因为Spark的核心就是它的执行引擎。下图展示了Sp...

Apache Spark 是一个开源的统一分析引擎，旨在快速处理大规模数据。它支持多种数据处理任务，包括批处理、流处理、机器学习和图形处理，具有高性能和易于使用...

RDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计...

以生产级别的搜索系统为例，该系统通常包含两个部分：离线数据索引和在线查询服务。实现该系统需要使用多种技术栈。例如，在离线处理中，如何将来源于多种渠道的非结构化数...

综上所述，Spark是一个高性能、可扩展且易用的分布式计算框架，具有丰富的功能和灵活的编程接口，适用于大规模数据处理、实时流处理、机器学习和图计算等各种场景。它...

由需求一清洗后的临时表中可得会话id和会话的时间戳，我们需要将单一设备的会话进一步细化分隔为新的会话。如上图查询结果所示。

因为全部调用高德API会造成高并发的问题，超出高德的调用规范，这也解释了为什么前面需求二我们只查找毕导用户。因此，在不给高德充钱的前提下，我们采用维表+高德ap...

首先正常关闭虚拟机，然后调高虚拟机配置参数，我的主机配置是AMD8核，16G，参考虚拟机配置如下：

本文基于Spark 3.2.0 Scala的RDD API，内容来源主要由官方文档整理，文中所整理算子为常用收录，并不完全。在Spark RDD官方文档中按照转...

1.解决了23/06/26 09:14:23 WARN Client: Neither spark.yarn.jars nor spark.yarn.archi...

通过建立用户的活跃时间段表，可以将用户的活跃时间段信息预先计算和存储起来，减少从dwd层重复查询的次数。这样可以在统计用户活跃需求时，直接从活跃时间段表中获取数...