腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏作者

810

文章

1219907

阅读量

247

订阅数

HiveSQL分析函数实践详解

数据函数框架排序实践

窗口函数也称为OLAP函数，OLAP 是OnLine Analytical Processing 的简称，意思是对数据库数据进行实时分析处理。例如，市场分析、创建财务报表、创建计划等日常性商务工作。窗口函数就是为了实现OLAP 而添加的标准SQL 功能。

Spark学习技巧

2024-04-12

1230

15张架构图，详解数据中台建设框架！

系统企业管理框架数据

《DAMA数据管理知识体系指南》对企业的数据管理成熟度定义了6个层级，分别为：0级-无能力、1级-初始或临时级、2级-可重复级、3级-已定义级、4级-已管理级、5级-优化级，级别越高数据管理越成熟。对于前期缺少数据管理经验的企业，在无数据专家或数据顾问公司支撑的情况下，容易导致以下的问题：

Spark学习技巧

2024-04-12

1010

闭包在Scala中的含义，使用场景和各个场景的代码案例

异步编程 scala 闭包变量函数

在 Scala 中，闭包是一种函数，它可以捕获并使用其作用域之外定义的变量。闭包由两部分组成：一个函数，以及该函数引用的外部变量的环境。这意味着即使外部变量的作用域已经结束，闭包依然可以访问和操作这些变量。

Spark学习技巧

2024-04-12

1010

JMH + Arthas，性能监控的神器

测试程序日志性能性能监控

为了能够让我后面的实例能够贯穿这两个工具的使用，我首先简单描述下我们在开发中遇到的实际的性能问题。然后再引出这两个性能工具的实际使用，看我们如何使用这两个工具成功定位到性能瓶颈的。

Spark学习技巧

2024-04-12

770

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

zookeeper kafka 迁移集群协议

Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。

Spark学习技巧

2024-04-12

1010

hive面试必备题

存储 hive 函数面试数据

Hive存储的是逻辑上的数据仓库信息，包括表的定义、数据的存储位置（HDFS路径）、分区和表的元数据等。实际的数据文件存储在HDFS上，Hive通过HQL（Hive Query Language）实现对这些数据的SQL-like查询，本质上是将SQL查询转换为MapReduce任务在Hadoop上执行。

Spark学习技巧

2024-04-12

900

javaer 为什么称redis、rabbitmq这些东西为中间件？

中间件 rabbitmq redis 服务系统

中间件（Middleware）是位于客户端和服务器端之间的软件服务层，它提供了一种通用服务的方式，帮助不同的应用程序、系统组件和服务之间进行交互和数据交换。中间件隐藏了底层的复杂性，使得开发者可以专注于业务逻辑的实现，而不需要从头构建底层的通信、数据管理等机制。Redis、RabbitMQ 等被称为中间件，是因为它们为应用程序提供了特定的服务（如数据存储、消息队列），从而充当了应用程序和底层系统之间的“中间人”。

Spark学习技巧

2024-04-12

950

SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

flume sqoop 数据同步 flink

Apache SeaTunnel 是一个非常易用的超高性能分布式数据集成产品，支持海量数据的离线及实时同步。每天可稳定高效同步万亿级数据，已应用于数百家企业生产，也是首个由国人主导贡献到 Apache 基金会的数据集成顶级项目。

Spark学习技巧

2024-03-27

2330

为什么 IDEA 建议去掉 StringBuilder，而要使用 “+” 拼接字符串？

编译测试效率字符串 stringbuilder

虽然有差异，但是差异极小，考虑到执行了100000次，每次耗时的差异就更小了，而且程序执行有各种因素影响执行效率，可以认为耗时差不多。也可以多次执行对比耗时差异，也可以发现基本一致。

Spark学习技巧

2024-03-27

690

不好意思，ELK 该换了！

日志网站 elk request 配置

最近客户有个新需求，就是想查看网站的访问情况，由于网站没有做google的统计和百度的统计，所以访问情况，只能通过日志查看，通过脚本的形式给客户导出也不太实际，给客户写个简单的页面，咱也做不到

Spark学习技巧

2024-03-26

760

Flink在涂鸦防护体系中的应用

flink 登录框架数据统计

随着互联网的快速发展，数据量呈爆炸性增长，安全分析领域面临着前所未有的挑战。传统的安全分析方法在处理海量数据时显得力不从心，无法满足实时、高效的需求。为了解决这一问题，Flink作为一种实时数据处理框架，逐渐在安全分析领域崭露头角。本文将基于涂鸦SOC平台建设经验浅谈Flink在安全分析领域的应用。

Spark学习技巧

2024-02-22

640

4000字读懂实时数仓的过去现在和未来(建议收藏)

实时数仓架构数据数据仓库企业

1991年，比尔·恩门（Bill Inmon）出版了他的第一本关于数据仓库的书《Building the Data Warehouse》，标志着数据仓库概念的确立。

Spark学习技巧

2024-02-01

2230

深入讲解四种数仓建模理论方法

数据库工具模型设计数据

数据仓库的建设的最重要的核心核心之一就是数仓模型的设计和构建，这个决定了数仓的复用和性能，本文将介绍四种建模的理论：维度建模、关系建模、Data Vault建模、Anchor模型建模，文后也介绍几种常见的数仓建模工具。

Spark学习技巧

2024-01-26

4800

Spark+Celeborn：更快，更稳，更弹性

存储 spark 内存设计数据

Apache Spark 是广为流行的大数据处理引擎，它有很多使用场景: Spark SQL、批处理、流处理、MLLIB、GraphX 等。在所有组件下是统一的 RDD 抽象，RDD 血缘通过两种依赖关系描述，窄依赖和宽依赖。其中宽依赖是支撑复杂算子（Join, Agg 等）的关键，而宽依赖实现机制就是 Shuffle。

Spark学习技巧

2024-01-22

2220

12条SQL不起眼的数仓调优技巧

数据 sql 技巧解决方案排序

本文是作者本人做数仓调优时，所经常使用的SQL调优技巧，这些“技巧”也是经过日常不断摸索、问题排查以及网络检索并且经过本人在线上大规模使用过的，对于下面这12条（不算多，但特别有用）调优小“技巧”，希望能帮助阅读本文的同学能够在日常编写分析语句时，提升任务执行的效率。

Spark学习技巧

2024-01-15

2420

FlinkCEP - Flink的复杂事件处理

flink event public 监控事件

FlinkCEP是在Flink上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。

Spark学习技巧

2023-12-05

1870

万字Spark性能优化宝典（收藏版）

spark 磁盘内存数据性能优化

导读：发现一篇好文，分享给大家。全文分为四个部分，基本涵盖了所有Spark优化的点，面试和实际工作中必备。全文较长，建议收藏后PC端查看或工作中问题troubleshooting。

Spark学习技巧

2023-12-04

4850

一文讲透如何做数据分析和指标体系

数据分析产品服务模型数据

本文内容基于自己从事支付领域从0到1搭建支付业务数据分析实战经验。如果你对写代码念念不忘，可以看我的历史文章，有很多代码相关的内容。

Spark学习技巧

2023-12-01

4240

详解数据仓库之拉链表（原理、设计以及在Hive中的实现）

hive 链表设计数据仓库原理

最近发现一本好书，读完感觉讲的非常好，首先安利给大家，国内第一本系统讲解数据血缘的书！点赞！

Spark学习技巧

2023-11-13

3380

用户增长常见分析模型

企业产品模型生命周期数据

用户增长基本上会涉及生意场上的各行各业，你开个店面希望有更多的客户光顾，你做了个APP希望有更多的用户经常使用，你搭建了个电商平台希望有更多的人下单买东西。

Spark学习技巧

2023-10-07

4590

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态