综上所述，Spark是一个高性能、可扩展且易用的分布式计算框架，具有丰富的功能和灵活的编程接口，适用于大规模数据处理、实时流处理、机器学习和图计算等各种场景。它...

由需求一清洗后的临时表中可得会话id和会话的时间戳，我们需要将单一设备的会话进一步细化分隔为新的会话。如上图查询结果所示。

因为全部调用高德API会造成高并发的问题，超出高德的调用规范，这也解释了为什么前面需求二我们只查找毕导用户。因此，在不给高德充钱的前提下，我们采用维表+高德ap...

首先正常关闭虚拟机，然后调高虚拟机配置参数，我的主机配置是AMD8核，16G，参考虚拟机配置如下：

本文基于Spark 3.2.0 Scala的RDD API，内容来源主要由官方文档整理，文中所整理算子为常用收录，并不完全。在Spark RDD官方文档中按照转...

1.解决了23/06/26 09:14:23 WARN Client: Neither spark.yarn.jars nor spark.yarn.archi...

通过建立用户的活跃时间段表，可以将用户的活跃时间段信息预先计算和存储起来，减少从dwd层重复查询的次数。这样可以在统计用户活跃需求时，直接从活跃时间段表中获取数...

本需求继续针对dwd.event_log_detail表深度开发，完成对dws.mall_app_session_agr表（设备会话维表）的构建。 本次需求更...

create table dwd.tmp_event_log_detail( – dwd.event_log_detail deviceid string, ...

本需求将模拟从MySQL中向Hive数仓中导入数据，数据以时间分区。测试两种导入场景，一种是将数据全量导入，即包含所有时间分区；另一种是每天运行调度，仅导入当天...

测试文件在本地D://tmp/spark.txt，Spark采用Local模式运行，Spark版本3.2.0，Scala版本2.12，集成idea开发环境。

Spark采用Local模式运行，Spark版本3.2.0，Scala版本2.12，集成idea开发环境。

通常我们认为 Spark 引擎是基于内存进行计算，无论如何，速度都是比 MapReduce 快，因为 MapReduce 需要频繁 Shuffle 。在 ...

此时，需要和其他节点的配置做一个对比，因为这套集群的spark并不是我安装的，spark配置文件的分发我不能保证正确。

Kyuubi最新版本已经发布，本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外，翻看Release Notes发现...

大数据生态发展数年，各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级，尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...

Apache Spark是一个优秀的计算引擎，广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下，既可获得资源节省，又能加速作业执行。Glu...

在多年的学习路上，也掌握了几门比较常见的语言，例如Java、Python以及前端Vue生态中包含的语言。很多时候，各种语言相似功能的框架都会被放在一起比较，来评...

在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当...

在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当...