学习
实践
活动
工具
TVP
写文章

Tim在路上

LV1
举报
发表了文章

[Delta][SQL] Delta开源付费功能,最全分析ZOrder的源码实现流程

通常为提高数据处理的效率,计算引擎要实现谓词的下推,而存储引擎可以根据下推的过滤条件尽可能的跳过无关数据或文件。不管是Hudi、Iceberg还是Delta都实...

Tim在路上
spark编程算法
发表了文章

[LakeHouse] Delta Lake全部开源,聊聊Delta的实现架构

刚刚结束的Data + AI summit上,Databricks宣布将Delta Lake全部开源。

Tim在路上
JSON对象存储存储开源
发表了文章

[LakeHouse] 数据湖之Iceberg一种开放的表格式

Iceberg项目2017年由Netflix发起, 它是在2018年被Netflix捐赠给Apache基金会的项目。在2021年Iceberg的作者Ryan B...

Tim在路上
Hive数据湖大数据spark存储
发表了文章

[SPARK][CORE] 面试问题之 3.2新的特性Push-based Shuffle源码解析

Spark 3.2为spark shuffle带来了重大的改变,其中新增了push-based shuffle机制。但其实在push-based shuffle...

Tim在路上
LinuxHBaseTDSQL MySQL 版VR 视频解决方案数据处理
发表了文章

[SPARK][CORE] 面试问题之什么是 external shuffle service?

在讨论external shuffle service的具体实现之前,我们先来回顾下spark shuffle的大概过程。

Tim在路上
sparkLinux数据结构YarnNode.js
发表了文章

[SPARK][CORE] 面试问题之谈一谈Push-based shuffle

在Spark3.2中引入了领英设计的一种新的shuffle方案,今天我们先来了解下其大致的设计原理,之后会再分析其具体的代码实现。

Tim在路上
VR 视频解决方案spark编程算法MapReduceLinux
发表了文章

[SPARK][CORE] 面试问题之 Shuffle reader 的细枝末节 (下)

在Spark中shuffleWriter有三种实现,分别是bypassMergeSortShuffleWriter, UnsafeShuffleWriter和S...

Tim在路上
JavaVR 视频解决方案Linux网站MapReduce
发表了文章

[SPARK][CORE] 面试问题之UnsafeShuffleWriter流程解析(下)

Unsafe Shuffle的实现在一定程度上是Tungsten内存管理优化的的主要应用场景。其实现过程实际上和SortShuffleWriter是类似的,但...

Tim在路上
文件存储编程算法API数据结构
发表了文章

[SPARK][CORE] 面试问题之 Shuffle reader 的细枝末节 (上)

之前我们已经了解了shuffle writer的详细过程,那么生成文件后会发生什么呢?以及它们是如何被读取呢?读取是内存的操作吗?这些问题也随之产生,那么今天...

Tim在路上
sparkMapReduce
发表了文章

[SPARK][CORE] 面试问题之UnsafeShuffleWriter流程解析(上)

在说UnsafeShuffleWriter 前,需要先细谈下Tungsten对内存管理的优化。当然这里就不展开讲了以防内容过于冗长。

Tim在路上
HashMapJVM存储JavaNode.js
发表了文章

[SPARK][CORE] 面试问题之 SortShuffleWriter的实现详情

SortShuffleWriter 是最基础的ShuffleWriter, 当其他几个ShuffleWriter不满足条件,或存在mapSide的聚合时只能选择...

Tim在路上
缓存数据结构Java编程算法
发表了文章

[SPARK][CORE] 面试问题之 BypassMergeSortShuffleWriter的细节

BypassMergeSortShuffleWriter 就如其名,旁支的sort-baesd Shuffle, 他是采用Hash-style实现的Sort b...

Tim在路上
MapReduce
发表了文章

[SPARK][CORE] 面试问题 之 Spark Shuffle概述

一提到shuffle, 我们犹如“谈虎色变”。shuffle是大数据中的性能杀手,其来源于大数据中的元老级的组件Hadoop。

Tim在路上
sparkLinuxMapReduce大数据
发表了文章

Spark netty RPC 通信原理

通信是分布式程序的血液和神经,就好比大脑发出的执行需要通过神经和需要才能传递到手脚进行执行。可见好的通信能力是分布式系统的重重之中。

Tim在路上
sparkScalaAndroidRPC
发表了文章

SparkConf 配置与传播

在spark分布式程序中,sparkConf 主要起着Spark程序进行资源配置,性能调优,功能开关,参数传递的能力。在Spark的Driver和Executo...

Tim在路上
sparkHashMapHadoop面向对象编程
发表了文章

Spark RDD 分布式弹性数据集

rdd是一个粗粒度的数据生成方式和流转迭代计算方式的描述。它可以通过稳定的存储器或者从其他RDD生成,它并不需要急着进行转换,只需要在特定的rdd进行一次性的数...

Tim在路上
大数据Node.js分布式
发表了文章

算法:二叉树遍历类题目

树的遍历顺序是依赖于 根 节点的位置,前序遍历的顺序为 根左右,中序遍历的顺序为 左根右,后序遍历的顺序为 左右根。除此以外还存在层次遍历。

Tim在路上
二叉树编程算法
发表了文章

Spark架构模式与Flink的对比

Spark和Flink都属于流批一体的分布式计算引擎。Flink属于流处理框架,通过流来模拟批,Spark属于批处理框架,通过批来模拟流。其分别属于Lambda...

Tim在路上
Flink大数据sparkWindows缓存
发表了文章

Spark 存储行动算子源码解析

从源码可以看出saveAsHadoopFile的输入参数有path, key类型,value类型, 输出格式类型,hadoop配置,压缩类型。将输入的参数配置到...

Tim在路上
Hadoop存储
发表了文章

Spark 行动算子源码分析

action算子都是直接调用sc.runJob(this, func _), 在调用时将func传给分区执行,并在调用后,在Driver端对数据在执行自定义的函...

Tim在路上
MapReduceAndroid文件存储

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券