大数据Spark（五十八）：Spark Pi介绍

Spark Pi是Apache Spark官方提供的一个示例程序，该案例使用 Spark 进行分布式计算，通过蒙特卡罗方法估算圆周率（π）的值，其估算π原理如下...

大数据Spark（五十七）：Spark运行架构与MapReduce区别

Apache Spark 和 Hadoop MapReduce 都是用于大规模数据处理的分布式计算框架，但它们在架构设计、数据处理方式和应用场景等方面存在显著差...

大数据Spark（五十六）：Spark生态模块与运行模式

Spark 生态模块包括：SparkCore、SparkSQL、SparkStreaming、StructuredStreaming、MLlib 和 Graph...

大数据Spark（五十五）：Spark框架及特点

Apache Spark 是一个专为大规模数据处理而设计的快速、通用的计算引擎。最初由加州大学伯克利分校的 AMP 实验室（Algorithms, Machin...

大数据Azkaban（三）：Azkaban编译及报错问题解决

Azkaban官方并没有提供Linux系统的编译安装包，需要读者根据需求在官网选择指定版本的Azkaban源文件，然后进行编译打包。 ...

大数据Azkaban（二）：Azkaban简单介绍

Azkaban通过作业的依赖性解决业务调度顺序，并提供易于使用的UI界面来维护和跟踪工作流程，其主要特点如下：

大数据Azkaban（一）：工作流管理器概述

无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控...

云原生（六十） | Web源码迁移部署

在 CentOS 7 上使用 Remi 仓库安装 PHP 7.4，您可以按照以下步骤操作 安装 EPEL 仓库：

云原生（五十四） | RDS数据导入与导出

思考：我们刚才的操作都是通过SQL语句实现的，如果我们要导入的文件是以SQL、CSV或Excel等形式存储，应该如何导入呢？

云原生（五十三） | SQL查询操作

案例：基于DMS在db_xxxx数据库中创建tb_students数据表，包含字段id、name、age、gender、mobile信息

云原生（五十二） | DataGrip软件使用

云原生（五十一） | MySQL Client客户端连接服务器

DataGrip是JetBrains公司推出的管理数据库的产品（数据库客户端软件），功能非常强大，可以兼容各种数据库。它的设计符合数据库管理员、开发人员需要。用...

云原生（四十八） | Nginx软件安装部署

云原生（四十七） | PHP软件安装部署

在 CentOS 7 上使用 Remi 仓库安装 PHP 7.4，您可以按照以下步骤操作 安装 EPEL 仓库：

云原生（四十六） | MySQL软件安装部署

注： 如果安装过程中报错Public key for mysql-community-icu-data-files-8.0.29-1.el7.x86_64.rp...

Spark实时（六）：Output Sinks案例演示

当我们对流式数据处理完成之后，可以将数据写出到Flie、Kafka、console控制台、memory内存，或者直接使用foreach做个性化处理。关于将数据结...

Spark实时（五）：InputSource数据源案例演示

在Spark2.0版本之后，DataFrame和Dataset可以表示静态有边界的数据，也可以表示无边界的流式数据。在Structured Streaming中...

Spark实时（四）：Strctured Streaming简单应用

Structured Streaming中结果输出时outputMode可以设置三种模式，三种默认区别如下：

Spark实时（三）：Structured Streaming入门案例

我们使用Structured Streaming来监控socket数据统计WordCount。这里我们使用Spark版本为3.4.3版本，首先在Maven po...

Elasticsearch基础（七）：Logstash如何开启死信队列

在 Logstash 中，死信队列（Dead Letter Queue, DLQ）是用于处理无法写入 Elasticsearch 的失败事件的功能。当 Logs...