腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark学习技巧

本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。

专栏作者

810

文章

1222120

阅读量

247

订阅数

万字详解 Spark Core 开发调优（建议收藏）

spark 文件存储数据库大数据数据结构

前两天和大家分享了一篇关于 Spark Core 数据倾斜调优相关的文章，今天继续和大家分享一篇关于 Spark 开发调优的文章，干货文章，建议收藏！

Spark学习技巧

2022-04-18

4370

Hadoop重点难点：Hadoop IO/压缩/序列化

node.js hadoop 文件存储存储数据处理

序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流转回结构化对象的逆过程。

Spark学习技巧

2022-01-13

8940

Apache Spark 内存管理(堆内/堆外)详解

spark 文件存储存储 jvm 缓存

本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。

Spark学习技巧

2022-01-13

1.2K0

Kafka 原理以及分区分配策略剖析

消息队列 CMQ 版 kafka node.js 文件存储

Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。

Spark学习技巧

2021-08-24

3480

十款性能最佳的压缩算法

编程算法文件存储神经网络机器学习人工智能

数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程。它的原理是消除不必要的数据或以更高效的格式重新组织数据。在进行数据压缩时，你可以选择使用有损方法或无损方法。有损方法会永久性地擦除掉一些数据，而无损方法则能保证持有全部的数据。使用哪类方法取决于你要让你的文件保持多大的精准度。

Spark学习技巧

2021-03-05

5.4K0

FlinkSQL演进过程，解析原理及一些优化策略

文件存储大数据 flink sql windows

flink 1.9之前的版本，对于Table API和SQL的底层实现结构如下图，可以看处流处理和批处理有各自独立的api (流处理DataStream，批处理DataSet)。而且有不同的执行计划解析过程，codegen过程也完全不一样，完全没有流批一体的概念，面向用户不太友好。

Spark学习技巧

2021-03-05

9310

SQL on Hadoop性能对比－Hive、Spark SQL、Impala

hive spark 文件存储腾讯云测试服务 sql

Apache Hive数据仓库软件提供对存储在分布式中的大型数据集的查询和管理，它本身是建立在Apache Hadoop之上。Hive SQL代表的是以传统基于Mapreduce为核心的SQL语言。

Spark学习技巧

2021-03-05

1.2K0

一篇文章，读懂Netty的高性能架构之道

java 自动驾驶文件存储编程算法 SSL 证书

Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。

Spark学习技巧

2021-03-05

7400

Flink State 误用之痛，竟然 90% 以上的 Flink 开发都不懂

文件存储编程算法存储 flink 大数据

本文主要讨论一个问题：ValueState 中存 Map 与 MapState 有什么区别？

Spark学习技巧

2020-12-28

6.3K0

漫画面试回答kafka为何如此之快｜满分

文件存储缓存 kafka

由于存储介质的特性，磁盘本身存取就比主存慢，再加上机械运动耗费，磁盘的存取速度往往是主存的几百分之一甚至几千分支一

Spark学习技巧

2020-10-30

4440

做olap一定要要了解的Druid存储结构

存储编程算法文件存储数据结构

导读：Apache Druid是一款优秀的OLAP引擎，众所周知数据存储格式对一款存储系统来说是最核心的组件，Druid的数据格式是自定义的，以此保证了在海量数据下的亚秒级查询。本文深入分析Druid V1版本数据存储格式，包括索引结构和数据在磁盘中的存储方式。在阅读本文之前希望您对Druid和数据存储有简单了解。

Spark学习技巧

2020-07-17

1.6K0

如何Spark的shuffle移植到自己业务

spark 文件存储

ExternalSorter是用来排序及聚合key-value类型的数据。首先使用分区器将数据按照key进行分区，然后使用自定义的排序器在一个分区内对数据key进行排序。可以生成适合shuffle读取的分区文件。

Spark学习技巧

2020-05-06

6550

面试必备|spark 高层通用调优

文件存储 mapreduce spark jvm

如果并行度设置的不足，那么就会导致集群浪费。Spark自动会根据文件的大小，是否可分割等因素来设置map的数目(后面会详细讲解输入格式，同时详细讲解各种输入的map数的决定)。对于分布式reduce操作，例如groupbykey和reducebykey，默认它使用的是分区数最大的父RDD的分区数决定reduce的数目。你也可以通过设置spark.default.parallelism来改变默认值，建议值是每个CPU执行2-3个tasks。

Spark学习技巧

2019-07-15

8960

经过性能对比，我发现温少的FastJson真牛。

json api 文件存储 java

JSON不管是在Web开发还是服务器开发中是相当常见的数据传输格式，一般情况我们对于JSON解析构造的性能并不需要过于关心，除非是在性能要求比较高的系统。

Spark学习技巧

2019-06-18

6.4K0

Java如何优雅获取泛型类型

java 编程算法文件存储 json

在 Java 开发中，获取泛型这种操作虽不是很常用，但有时确实必须的，比如将Json 字符串反序列化成对象的时候。今天就来介绍这个操作。

Spark学习技巧

2019-05-21

2.4K0

flink状态管理-keyed

大数据文件存储存储

Flink主要有两种基础类型的状态：keyed state 和operator state。

Spark学习技巧

2019-05-14

1.3K0

spark面试该准备点啥

spark sql windows 编程算法文件存储

最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况，不努力，不加班给自己喂粮的，没有足够量和时间积累的人很难在一个领域里有所建树。

Spark学习技巧

2019-05-09

8530

textFile构建RDD的分区及compute计算策略

1,textFile A),第一点，就是输入格式，key，value类型及并行度的意义。 def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = withScope { assertNotStopped() //输入文件的格式TextInputFormat，key的类型LongWritable ，value的类型Text //最小分区数defaultMinPartition

Spark学习技巧

2018-01-31

1.1K0

Flink DataStream编程指南

flink 大数据 java 文件存储 scala

Flink程序是执行分布式集合转换(例如，filtering, mapping, updating state, joining, grouping, defining windows, aggregating)的常规程序。集合创建于原始的数据源(例如，通过从文件读取，kafka主题或从本地内存集合中进行创建)。通过sinks返回结果，例如将数据写入（分布式）文件或标准输出(例如，命令行终端)。Flink程序以各种上下文运行，独立或嵌入其他程序中。执行可能发生在本地JVM或许多机器的集群上。取决于数据源的类

Spark学习技巧

2018-01-31

4.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态