Spark学习技巧-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏成员

810

文章

1302426

阅读量

248

订阅数

12条SQL不起眼的数仓调优技巧

数据 sql 技巧解决方案排序

本文是作者本人做数仓调优时，所经常使用的SQL调优技巧，这些“技巧”也是经过日常不断摸索、问题排查以及网络检索并且经过本人在线上大规模使用过的，对于下面这12条（不算多，但特别有用）调优小“技巧”，希望能帮助阅读本文的同学能够在日常编写分析语句时，提升任务执行的效率。

Spark学习技巧

2024-01-15

3790

网易数帆数据治理演进

导读：本文将分享网易数帆数据治理的发展过程，以及对现代数据治理的概念和理念的理解，提出现代数据治理应该与数据开发和消费很好地衔接，具备开发治理一体化、形成治理的闭环、仓内仓外统一治理和建立数据资产门户等核心特点。

Spark学习技巧

2023-03-21

6060

HiveSQL中的JOIN ON条件，你理解对了吗？

sql join key null subquery

HiveSQL很常用的一个操作就是关联(Join)。Hive为用户提供了多种JOIN类型，可以满足不同的使用场景。但是，对于不同JOIN类型的语义，或许有些人对此不太清晰。简单的问题，往往是细节问题，而这些问题恰恰也是重要的问题。本文将围绕不同的JOIN类型，介绍JOIN的语义，并对每种JOIN类型需要注意的问题进行剖析，希望本文对你有所帮助。

Spark学习技巧

2023-03-21

1.3K0

Spark处理数据倾斜过程记录

sql spark join key shuffle

数据倾斜是指我们在并行进行数据处理的时候，由于数据散列引起Spark的单个Partition的分布不均，导致大量的数据集中分布到一台或者几台计算节点上，导致处理速度远低于平均计算速度，从而拖延导致整个计算过程过慢，影响整个计算性能。

Spark学习技巧

2023-03-21

1K0

流批一体在京东的探索与实践

sql hive flink function join

提到流批一体，不得不提传统的大数据平台 —— Lambda 架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。

Spark学习技巧

2023-03-21

9130

为什么我们需要 Hive Metastore！

sql apache http hive thrift

IT 中的每个人都与数据打交道，包括前端和后端开发人员、分析师、QA 工程师、产品经理以及许多其他角色的人员。使用的数据和数据处理方法因角色而异，但数据本身往往不是关键。

Spark学习技巧

2023-03-21

5780

关于SparkSQL的开窗函数，你应该知道这些!

sql class mysql rank 排序

相信用过MySQL的朋友都知道，MySQL中也有开窗函数的存在。开窗函数的引入是为了既显示聚集前的数据，又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。

Spark学习技巧

2022-04-18

9730

Atlas血缘分析在数据仓库中的实战案例

打包 jar xml hive sql

1.1 执行SQL 1.2 手写的数据地图 1.3 atlas血缘分析 1.4 打标签 1.4.1 CLASSIFICATION分类 1.4.2 GLOSSARY词汇表 1.5 字段搜索 1.5.1查看表字段 1.5.2 追踪字段关系

Spark学习技巧

2022-04-18

2.1K0

知乎用户画像与实时数据架构实践

数据集成数据库 sql 实时数据集成编程算法

‍‍‍‍‍‍‍‍知乎业务中，随着各业务线业务的发展，逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面，期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面，期望拥有可以实时响应的用户行为流，同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。

Spark学习技巧

2022-04-18

8230

HiveSQL技术原理、优化与面试

hive sql 数据库 mapreduce

编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段：

Spark学习技巧

2022-04-18

1K0

一篇并不起眼的Spark面试题

spark 数据库 sql 大数据数据分析

spark是借鉴了Mapreduce,并在其基础上发展起来的，继承了其分布式计算的优点并进行了改进，spark生态更为丰富，功能更为强大，性能更加适用范围广，mapreduce更简单，稳定性好。主要区别

Spark学习技巧

2022-04-18

9210

大厂实时数仓建设项目实例

数据湖分析数据湖数据分析数据处理 sql

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，无法支撑实时场景的数据需求。即使能将调度频率设置成小时，也只能解决部分时效性要求不高的场景，对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。

Spark学习技巧

2022-04-18

1.1K0

你一定需要六款大数据采集平台的架构分析

数据库日志数据 sql ruby

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

Spark学习技巧

2022-03-15

2K0

8000字，详解用户画像，助力企业精细化运营

数据库日志数据 sql 大数据数据分析

导读：在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业经营活动的真实记录，如何更加有效地利用这些数据进行分析和评估，成为企业基于更大数据量背景的问题所在。

Spark学习技巧

2022-03-14

1.3K0

Flink SQL代码生成与UDF重复调用的优化

javascript sql 编程算法 flink 大数据

代码生成（code generation）是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行（二进制代码），充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获得大幅的性能提升。

Spark学习技巧

2022-03-14

1.5K0

SparkSQL并行执行多个Job的探索

spark sql 数据库 linux 编程算法

Spark是以TaskSetManager为单元来调度任务的。通常情况下，任务队列中只会有一个TaskSetManager，而通过多线程提交多个Job时，则会有多个TaskSetManager被丢到任务队列中。在有空闲资源的情况下，谁会从队列里被取出来执行就取决于相应的调度策略了。目前，Spark支持FIFO和FAIR两种调度策略。

Spark学习技巧

2022-03-14

1.7K0

图谱实战 | 知识图谱构建的一站式平台gBuilder

http 编程算法 sql 知识图谱大数据

知识图谱能够让机器去理解和认知世界中的事物和现象，并解释现象出现的原因，推理出隐藏在数据之间深层的、隐含的关系，使得知识图谱技术从最初谷歌用来提升搜索引擎的结果来增强用户体验，到现在已经被金融、公安、能源、教育、医疗等领域众多行业进行大量运用。

Spark学习技巧

2022-01-13

3.3K0

干货|Spark优化之高性能Range Join

数据库 sql spark nest node.js

Carmel是eBay内部基于Apache Spark打造的一款SQL-on-Hadoop查询引擎。通过对Apache Spark的改进，我们为用户提供了一套高可用高性能的服务，以满足eBay内部大量分析型的查询需求（如今单日查询量已超过30万）。

Spark学习技巧

2022-01-13

1.7K0

ETL工具算法构建企业级数据仓库五步法

数据库数据分析数据处理编程算法 sql

ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程。

Spark学习技巧

2022-01-13

1.1K0

大批量更新数据mysql批量更新的四种方法

sql 数据库云数据库 SQL Server 腾讯云测试服务

mysql 批量更新如果一条条去更新效率是相当的慢, 循环一条一条的更新记录,一条记录update一次，这样性能很差，也很容易造成阻塞。

Spark学习技巧

2022-01-13

29.4K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态