、aggregateByKey、combineByKey区别 5.repartition和coalesce区别 6.Spark内存管理模型 7.Spark中能够进行下推的算子和不能进行下推的算子有哪些...谓词下推？映射（project）下推？ 8.数仓数据的存储格式（parquet+snappy），为什么使用parquet、parquet特性、底层结构？parquet事务？...31.做过实时数仓吗，讲一下 32.数仓建模方法，你公司用的是什么建模方法？为什么采用这种建模方法？ 33.Yarn client和Yarn cluster区别？...对于两个线程a和b，如何确保在线程a执行完毕后才能执行线程b？ 47.Java基本类型和封装类型区别，在JVM中的分布？...48.Scala中的隐式转换、object和class区别、Scala集合和Java如何互转？ 49.leetcode系列题，如股票买卖利润最大化问题？
转自：vivo互联网技术 作者：李勇 1.SparkSql SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理...来看看先进行谓词 下推的情况。先对两表进行 过滤，过滤的结果分别如下： ? 然后再对这两个过滤后的表进行内连接处理，结果如下： ? 可见，这和先进行 join 再过滤得到的结果一致。...但是如果按照我们在2中的分析，使用OR连 接两 表的过滤条件，又不能随意的进行谓词下推，那要如何处理呢？...我们知道分区表在HDFS上是按照目录来存储一个分区的数据的，那么在进行分区裁剪时，直接把要扫描的HDFS目录通知Spark的Scan操作符，这样，Spark在进行扫描时，就可以直接咔嚓掉其他的分区数据了...但是，要完成这种优化，需要SparkSql的语义分析逻辑能够正确的分析出Sql语句所要表达的精确目的，所以分区字段在SparkSql的元数据中也是独立于其他普通字段，进行了单独的标示，就是为了方便语义分析逻辑能区别处理
物理存储信息（例如，划分和排序）不会从数据源传播，并且因此，Spark 的优化器无法利用。3. 可扩展性不好，并且算子的下推能力受限。4. 缺少高性能的列式读取接口。5....由于上面的限制和问题， Spark SQL 内置的数据源实现（如 Parquet，JSON等）不使用这个公共 DataSource API。 相反，他们使用内部/非公共的接口。...v2 的目标 针对 Scala / Java 设计一个新的 DataSource API： Java Friendly 没有依赖 DataFrame，RDD， SparkSession 等 支持谓词下推和列剪裁...v2 中期望出现的API 保留Java 兼容性的最佳方法是在 Java 中编写 API。很容易处理 Scala 中的 Java 类/接口，但反之则不亦然。...例如，Parquet 和 JSON 支持 schema 的演进，但是 CSV 却没有。 所有的数据源优化，如列剪裁，谓词下推，列式读取等。
1.SparkSql SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL可以直接使用scala...那么谓词下推第二层含义，即何时完成数据过滤则一般是在指连接查询中，是先对单表数据进行过滤再和其他表连接还是在先把多表进行连接再对连接后的临时表进行过滤，则是本系列文章要分析和讨论的重点。...试想，如果不能提前对两表进行过滤，那么会有非常巨量的数据要首先进行连接处理，这个代价是非常大的。但是如果按照我们在2中的分析，使用OR连接两表的过滤条件，又不能随意的进行谓词下推，那要如何处理呢？...我们知道分区表在HDFS上是按照目录来存储一个分区的数据的，那么在进行分区裁剪时，直接把要扫描的HDFS目录通知Spark的Scan操作符，这样，Spark在进行扫描时，就可以直接咔嚓掉其他的分区数据了...但是，要完成这种优化，需要SparkSql的语义分析逻辑能够正确的分析出Sql语句所要表达的精确目的，所以分区字段在SparkSql的元数据中也是独立于其他普通字段，进行了单独的标示，就是为了方便语义分析逻辑能区别处理
物理存储信息（例如，划分和排序）不会从数据源传播，并且因此，Spark 的优化器无法利用。 3. 可扩展性不好，并且算子的下推能力受限。 4. 缺少高性能的列式读取接口。 5....由于上面的限制和问题， Spark SQL 内置的数据源实现（如 Parquet，JSON等）不使用这个公共 DataSource API。 相反，他们使用内部/非公共的接口。...v2 的目标 针对 Scala / Java 设计一个新的 DataSource API： Java Friendly 没有依赖 DataFrame，RDD， SparkSession 等 支持谓词下推和列剪裁...v2 中期望出现的API 保留Java 兼容性的最佳方法是在 Java 中编写 API。很容易处理 Scala 中的 Java 类/接口，但反之则不亦然。...例如，Parquet 和 JSON 支持 schema 的演进，但是 CSV 却没有。 所有的数据源优化，如列剪裁，谓词下推，列式读取等。
映射下推(Project PushDown) 说到列式存储的优势，映射下推是最突出的，它意味着在获取表中原始数据时只需要扫描查询中需要的列，由于每一列的所有值都是连续存储的，所以分区取出每一列的所有值就可以实现...谓词下推(Predicate PushDown) 在数据库之类的查询系统中最常用的优化手段就是谓词下推了，通过将一些过滤条件尽可能的在最底层执行可以减少每一层交互的数据量，从而提升性能， 例如”select...在存储的时候都计算对应的统计信息，包括该Column Chunk的最大值、最小值和空值个数。...通过这些统计值和该列的过滤条件可以判断该Row Group是否需要扫描。另外Parquet还增加诸如Bloom Filter和Index等优化数据，更加有效的完成谓词下推。...在使用Parquet的时候可以通过如下两种策略提升查询性能： 类似于关系数据库的主键，对需要频繁过滤的列设置为有序的，这样在导入数据的时候会根据该列的顺序存储数据，这样可以最大化的利用最大值、最小值实现谓词下推
所以尽管parquet文件里保存了max和min值可以用于进一步的过滤（即谓词下推），但是Hive却无法使用。 3....从上面的元数据文件可以看出，Iceberg的清单文件中会记录每个数据文件所属的分区值信息，同时在清单列表中会记录每个清单文件的分区信息。...在讲Iceberg前我们先来说下Spark是如何实现谓词下推的： 在SparkSQL优化中，会把查询的过滤条件，下推到靠近存储层，这样可以减少从存储层读取的数据量。...其次在真正读取过滤数据时，Spark并不自己实现谓词下推，而是交给文件格式的reader来解决。...（Spark在3.1 支持avro, json, csv的谓词下推） 相比于Spark, Iceberg会在snapshot层面，基于元数据信息过滤掉不满足条件的data file。
另一方面，数据科学家们所熟悉的R、Pandas等传统数据框架虽然提供了直观的API，却局限于单机处理，无法胜任大数据场景。...在数据集的核心 API是一个称为编码器的新概念，它负责在JVM对象和表格表示之间进行转换。表格表示使用Spark内部Tungsten二进制格式存储，允许对序列化数据进行操作并提高内存利用率。...RDD： RDD（Resilient Distributed Datasets）叫做弹性分布式数据集，是Spark中最基本的数据抽象，源码中是一个抽象类，代表一个不可变、可分区、里面的元素可并行计算的集合...谓词下推 Predicate Pushdown, 将 Filter 这种可以减小数据集的操作下推, 放在 Scan 的位置, 这样可以减少操作时候的数据量。 ?...列值裁剪 Column Pruning, 在谓词下推后, people 表之上的操作只用到了 id 列, 所以可以把其它列裁剪掉, 这样可以减少处理的数据量, 从而优化处理速度 还有其余很多优化点, 大概一共有一二百种
在Spark 1.3.0以Spark SQL原有的SchemaRDD为蓝本，引入了Spark DataFrame API，不仅为Scala、Python、Java三种语言环境提供了形如R和Pandas的...Tableau、Qlik等第三方工具可以通过该接口接入Spark SQL，借助Spark进行数据处理。 然而，Spark SQL的应用并不局限于SQL。实际上“Spark SQL”这个名字并不恰当。...图2：DataFrame和 RDD的区别 上图直观地体现了DataFrame和RDD的区别。...而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。...另一方面，Spark SQL在框架内部已经在各种可能的情况下尽量重用对象，这样做虽然在内部会打破了不变性，但在将数据返回给用户时，还会重新转为不可变数据。
而言，最重要的问题就是什么时候去重新计算优化执行计划。...、数据倾斜处理等。...于是，我们就获得了最新优化过的执行计划和一些已经执行完成的stages，至此为一次循环。接着我们只需要继续重复上面的步骤，直到整个query都跑完。 ? ?...DPP背后的想法是将维度表上的筛选器集直接应用到事实表上，以便跳过扫描不需要的分区。DPP的优化是在逻辑计划优化和物理计划上实现的。...6.DataSource V2 Improvements a)Pluggable catalog integration b)改进谓词下推功能，可通过减少数据加载来加快查询速度 7.YARN Features
、Apache Spark Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上...Shark的诞生 所以Spark在早期版本（1.0之前）推出了Shark，这是什么东西呢，Shark与Hive实际上还是紧密关联的，Shark底层很多东西还是依赖于Hive，但是修改了内存管理、物理计划...谓词下推(Predicate Pushdown) 上图左边是经过解析后的语法树，语法树中两个表先做join，之后在使用age>10进行filter。...这一优化一方面大幅度减少了网络、内存数据量消耗，另一方面对于列式存储数据库来说大大提高了扫描效率。 步骤4....谓词下推案例： select * from table1 a join table2 b on a.id=b.id where a.age>20 and b.cid=1 上面的语句会自动优化为如下所示
下面我来告诉大家这些是怎么分类的： 在分布式环境中，Spark支持两类数据分发模式:Shuffle和Broadcast。...上面的2种分发模式和3种实现机制的笛卡尔积，就构成了Spark支持的5种Join策略。(图中白色BroadCast SMJ不支持)。 如图所示： 这五种关联机制，Spark会怎么选择呢？...一般来说，驱动表的体量往往较大，在实现关联的过程中，驱动表是主动扫描数据的那一方。 Nested Loop Join会使用外、内两个嵌套的for循环，来依次扫描驱动表与基表中的数据记录。...： 谓词下推 Predicate Pushdown, 将 Filter 这种可以减小数据集的操作下推, 放在 Scan（表） 的位置, 这样可以减少操作时候的数据量 列值裁剪 Column Pruning..., 在谓词下推后,可以把表中没有用到的列裁剪掉, 这样可以减少处理的数据量, 从而优化处理速度 由逻辑执行计划生成物理计划,从而生成RDD来运行 Tungsten 有一段时间，Tungsten被称为Spark
执行插入/更新/ upsert /删除 谓词下推 Kudu和Spark SQL之间的模式映射 到目前为止，我们已经听说过几个上下文，例如SparkContext，SQLContext，HiveContext...这是可以在Spark应用程序中广播的主要可序列化对象。此类代表在Spark执行程序中与Kudu Java客户端进行交互。...你会注意到在指定组成范围分区列的列名列表时我们调用“asJava”方 法。...这是因为在这里，我们调用了Kudu Java客户端本身，它需要Java对象（即java.util.List）而不是Scala的List对 象；（要使“asJava”方法可用，请记住导入JavaConverters...创建表后，通过将浏览器指向http//master主机名:8051/tables 来查看Kudu主UI可以找到创建的表，通过单击表ID，能够看到表模式和分区信息。
目前社区做Spark on HBase主要会做以下三方面的功能和优化：支持Spark SQL、Dataset、DataFrame API，支持分区裁剪、列裁剪、谓词下推等优化，Cache HBase的Connections...下面将介绍一下相关的优化：分区裁剪、谓词下推、列裁剪。分区裁剪：只去访问需要扫描数据的region，且扫描最少的数据。列裁剪：只去Scan需要的列出来。...谓词下推：将filter下推到HBase层面去做。...Spark SQL的Datasource，然后做列裁剪、分区裁剪、谓词下推这些优化来提高性能。...在HBase存储层面，HBase原始的存储有Memstore以及HFile，也会引入parquet/ORC来提高性能，同时Spark Runtime也会去直接分析Hfile以及Memstore。
动态分区裁剪，其实就牵涉到谓词下推，希望在读本文之前，你已经掌握了什么叫做谓词下推执行。...SparkSql 中外连接查询中的谓词下推规则 动态分区裁剪比谓词下推更复杂点，因为他会整合维表的过滤条件，生成filterset，然后用于事实表的过滤，从而减少join。...假如表按照day_of_week字段分区，那sql应该是将filter下推，先过滤，然后在scan。 ? 这就是传统数据库存在索引及预计算的时候所说的谓词下推执行。...2.动态分区裁剪场景 Spark 3.0的分区裁剪的场景主要是基于谓词下推执行filter(动态生成)，然后应用于事实表和维表join的场景。...上图就是不存在任何谓词下推执行优化的计算过程，全量扫描事实表sales和维表date表，然后完成join，生成的表基础上进行filter操作，然后在scan计算，显然这样做很浪费性能。
每一页的开始都会存储该页的元数据，在 Parquet 中，有三种类型的页：数据页、字典页和索引页。...小结 Parquet 是一种支持嵌套结构的列式存储格式，非常适用于 OLAP 场景，按列存储和扫描。 列存使得更容易对每个列使用高效的压缩和编码(一个页是最小的编码的单位)，降低磁盘空间。...映射下推，这是列式存储最突出的优势，是指在获取数据时只需要扫描需要的列，不用全部扫描。 谓词下推，是指通过将一些过滤条件尽可能的在最底层执行以减少结果集。谓词就是指这些过滤条件，即返回。...2.4.0 读取 parquet，使用的是 loadV1Source spark 读取文件默认 task 任务数(分区数)最大 10000，最小是 path 的个数（注意并行度和任务数分区数区别） createNonBucketedReadRDD...中 Bucketed 理解，是指 hive 表中的分区下面的分桶 rdd 分区数确认：合并小文件，大文件就直接变为 partition 了，注意大文件没有切，目的提高 cpu 利用率 FileScanRDD
本文主要讲讲，spark 3.0之后引入的动态分区裁剪机制，这个会大大提升应用的性能，尤其是在bi等场景下，存在大量的where条件操作。...动态分区裁剪比谓词下推更复杂点，因为他会整合维表的过滤条件，生成filterset，然后用于事实表的过滤，从而减少join。...假如表按照day_of_week字段分区，那sql应该是将filter下推，先过滤，然后在scan。 ? 这就是传统数据库存在索引及预计算的时候所说的谓词下推执行。...2.动态分区裁剪场景 Spark 3.0的分区裁剪的场景主要是基于谓词下推执行filter(动态生成)，然后应用于事实表和维表join的场景。...假如维表支持下推执行，那么就可以先进行维表的filter操作，减少维表Date的数据量加载，然后在进行事实表sales的scan和维表date的scan，最后进行join操作。 ?
如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。...二.Spark On HBase 1.可以解决的问题 Spark和HBase无缝对接意味着我们不再需要关心安全和RDD与HBase交互的细节。更方便应用Spark带来的批处理，流处理等能力。...比如以下常见的应用场景： 以HBase作为存储，通过Spark对流式数据处理。 以HBase作为存储，完成大规模的图或者DAG的计算。...优点： native avro支持 谓词下推和分区裁剪 支持row key组合 支持安全 缺点： SQL语法不够丰富，只支持spark sql原有的语法 只支持java原始类型 不支持多语言API 使用示例...优点 支持安全 通过get或者scan直接生成rdd， 并可以使用API完成更高级的功能 支持组合rowkey 支持多种bulk操作 为spark和 spark streaming提供相似的API 支持谓词下推优化
RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。 RDD和DataFrame 上图直观地体现了DataFrame和RDD的区别。...而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即schema。...另一方面，Spark SQL在框架内部已经在各种可能的情况下尽量重用对象，这样做虽然在内部会打破了不变性，但在将数据返回给用户时，还会重新转为不可变数据。...RDD和DataSet DataSet以Catalyst逻辑执行计划表示，并且数据以编码的二进制形式被存储，不需要反序列化就可以执行sorting、shuffle等操作。...通过上面两点，DataSet的性能比RDD的要好很多，可以参见[3] DataFrame和DataSet Dataset可以认为是DataFrame的一个特例，主要区别是Dataset每一个record
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
腾讯会议
