谓词下推到底是如何工作的？
谓词下推是一种优化技术，用于提高数据库查询的性能。它通过将谓词（即查询条件）下推到数据源中进行处理，减少数据传输和处理的量，从而加快查询速度。
具体来说，谓词下推的工作原理如下：
- 查询优化器分析查询语句，确定哪些谓词可以下推。通常，只有涉及到数据源的谓词才能被下推，例如与表的列相关的条件。
- 查询优化器将可以下推的谓词转换为适当的格式，并将其发送给数据源。
- 数据源接收到下推谓词后，根据谓词条件进行数据过滤，只返回满足条件的数据行。这样可以减少传输到查询引擎的数据量。
- 查询引擎接收到经过下推谓词处理的数据后，继续执行其他查询操作，如排序、聚合等。
谓词下推的优势包括：
- 减少数据传输量：通过在数据源中进行谓词处理，可以减少从数据源到查询引擎的数据传输量，提高查询效率。
- 减少数据处理量：只传输满足谓词条件的数据行，可以减少查询引擎的数据处理量，加快查询速度。
- 提高查询性能：谓词下推可以减少数据传输和处理的开销，从而提高查询性能，特别是对于大数据量和复杂查询条件的情况。
谓词下推的应用场景包括：
- 大数据查询：在处理大数据量的查询时，谓词下推可以减少数据传输和处理的开销，提高查询效率。
- 复杂查询条件：当查询条件较为复杂时，谓词下推可以将部分条件下推到数据源中进行处理，减少查询引擎的负担。
腾讯云提供了一系列与谓词下推相关的产品和服务，例如：
- 腾讯云数据库（TencentDB）：提供了基于云原生架构的关系型数据库，支持谓词下推等优化技术，提供高性能的数据存储和查询服务。详细信息请参考：腾讯云数据库产品介绍
- 腾讯云数据仓库（Tencent Data Warehouse）：提供了大数据存储和分析服务，支持谓词下推等优化技术，帮助用户快速处理和分析海量数据。详细信息请参考：腾讯云数据仓库产品介绍
请注意，以上只是腾讯云提供的部分相关产品和服务，其他云计算品牌商也提供类似的产品和服务。
相关·内容
1回答
我想知道这到底是怎么回事，
df = sqlContext.read \
.format("org.apache.phoenix.spark") \
.option("table", "TABLE") \
.option("zkUrl", "10.0.0.11:2181:/hbase-unsecure") \
.load()
如果这是加载整个表，或者它将延迟加载，以确定是否将应用筛选。
在第一种情况下，如何告诉菲尼克斯在加载星体数据前过
浏览 2提问于2016-11-29得票数 3
回答已采纳
在下面的中，给出了以下图片：
在实践中，以下三件事究竟意味着什么？
快速扫描
谓词下推
行滤波器评估
我相信谓词下推是直接在数据源上计算WHERE表达式的能力，因此，例如，如果我在MySQL表上运行以下查询：
SELECT * FROM table WHERE country="US"
谓词下推将获取country='US'并在本机源上对其进行评估，而如果我们没有谓词下推(在本例中)，它将涉及运行SELECT * FROM table --将所有数据复制到处理服务器--然后在那里计算谓词。但是，如果这是正确的，例如，谓词下推将如何工
浏览 5提问于2022-07-02得票数 0
Spark Dataframe中的完全外连接似乎没有发生谓词下推 当连接类型为inner时，谓词下推似乎起作用。但当它是满的时，它不会向下推送谓词 scala> val left = Seq((0, "a"), (1, "b"), (2, "c")).toDF("id", "val")
2019-07-03 13:46:40 WARN ObjectStore:568 - Failed to get database global_temp, returning NoSuchObjectException
浏览 24提问于2019-07-04得票数 2
我正在从mongodb集合中提取数据，并使用Spark python代码将其写入bigquery表。
下面是我的代码片段：
df = spark.read\
.format("com.mongodb.spark.sql.DefaultSource")\
.option("uri","mongodb_url")\
.option("database","db_name")\
.option("collection", "collection_name")
浏览 1提问于2021-02-18得票数 0
1回答
我每天都有一份工作，把阿夫罗变成地板。每小时的Avro文件为20G，在读取avro文件时按年、月、日和小时划分，如下所示，spark.read.format("com.databricks.spark.avro").load(basePath).where($year=2020 and $month=9 and $day=1 and $hour=1).write.paritionBy(paritionCol).parquet(path) --作业运行时间为1.5小时Note：整个文件夹basePath有36 TB的avro格式数据。
但是，对于相同的火花配置(内存和实例等)，下
浏览 5提问于2020-09-28得票数 1
假设表A和B都有ds作为分区键。
方法1
SELECT *
FROM A JOIN B ON A.userid=B.userid
WHERE A.ds='2014-01-01' AND B.ds='2014-01-01'
方法2
SELECT *
FROM (
SELECT * FROM A WHERE A.ds='2014-01-01'
) JOIN (
SELECT * FROM B WHERE B.ds='2014-01-01'
) ON
A.userid=B.userid
第二个查询会更快吗？
我想知道WHERE和
浏览 4提问于2014-01-16得票数 11
回答已采纳
让我们假设您有非常大的parquet文件，您希望从中筛选一个子集并保存它：
val df = spark.read.parquet(inputFileS3Path)
.select(c1, c2, c3)
.where("c1 = '38940f'")
df.write.parquet(outputFileS3Path)
斯派克是否先在内存中读取所有的拼花文件，然后进行过滤？是否有一种方法，例如，Spark只读取一批，并只将满足筛选条件的记录保存在内存中？
我正在Zeppelin笔记本中运行Spark2.2，它似乎正在读取内存中的所有内容，然后进
浏览 1提问于2019-11-22得票数 2
我如何设置我的spark jdbc选项，以确保我将过滤器谓词下推到数据库中，而不是先加载所有内容？我用的是spark 2.1我无法获得正确的语法来使用，我知道我可以在load()后面添加一个where子句，但这显然会先加载所有内容。我正在尝试下面的方法，但是这个过滤器在我的db客户端中运行需要几秒钟的时间，它没有返回任何东西，只是在尝试从spark jdbc向下推送谓词时继续运行。
val jdbcReadOpts = Map(
"url" -> url,
"driver" -> driver,
"user" ->
浏览 2提问于2018-01-04得票数 1
我正在做一个Spring Java项目，使用Datastax连接器集成Apache spark和cassandra。
我已经自动连接了sparkSession，下面的几行代码似乎可以正常工作。
Map<String, String> configMap = new HashMap<>();
configMap.put("keyspace", "key1");
configMap.put("table", tableName.toLowerCase());
Dataset<Row> ds = sparkSess
浏览 0提问于2020-06-26得票数 1
1回答
请有人帮我理解一下，为什么标量函数的存在改变了先前索引扫描的估计量？
我正在使用StackOverflow2013数据库的副本。Server 2019 (可修改模式100)
为了演示这个问题，我创建了一个简单的函数，它检查User.DisplayName中是否有“S”：
CREATE FUNCTION dbo.IsUserS (@DisplayName nvarchar(80))
RETURNS bit
AS
BEGIN
RETURN CHARINDEX('S', @DisplayName)
END
下面是使用该函数的查询：
SELECT U.ID,
U.[
浏览 0提问于2022-10-21得票数 4
1回答
我的Cassandra模式包含一个表，其中一个分区键是一个时间戳，一个parameter列是一个集群键。
每个分区都包含10k+行。这是以每秒一个分区的速度记录数据。
另一方面，用户可以定义“数据集”，而我有另一个表，其中包含“数据集名称”作为分区键，以及一个集群列，该列是引用另一个表的时间戳(因此"dataset“是分区键列表)。
当然，我想做的事情看起来像是卡桑德拉的反模式，因为我想加入两个表。
但是，使用Spark，我可以运行这样的查询并执行JOIN。
SELECT * from datasets JOIN data
WHERE data.timestamp = dat
浏览 2提问于2016-02-14得票数 3
2回答
在寻找大数据上的查询优化时，尤其是在ORC文件上，我遇到了两种可能的谓词下推和Bloom过滤器。
谓词下推帮助我们避免读取不必要的条带，这有助于减少IO，但对我来说，Bloom Filter似乎也有相同的目的，除了以下几点。
对于谓词下推，我们不需要在编写ORC文件时显式创建任何工件，而对于Bloom filters，我们需要在写入ORC文件时配置列。
征求我的建议，让我更好地理解。
谢谢Santosh
浏览 0提问于2019-02-11得票数 2
我在我的项目中使用Hbase支持的Hive表，但我们选择Hbase支持的Hive的原因是为了执行更新。
除此之外，Hbase支持的Hive表还有什么其他优势。因为它在从配置单元查询时仍然使用MapReduce。即使我们想要很小的数据集，而且表很大，给出结果也需要时间。
但是，如果我们在Hbase shell中使用Range或get执行扫描，结果会在几秒钟内出现。那么，除了更新(现在也可以在Hive中使用)和SQL ease之外，使用Hbase支持的HIVE表还有什么其他优势呢？
如果HIVE由Hbase支持，HIVE如何计算和运行查询？为什么它使用MapReduce而不是更快的Hbase引擎来
浏览 0提问于2017-09-23得票数 1
我是spark的新手。下面的代码将加载所有数据，还是只从kudu中过滤数据？
val df: DataFrame = spark.read.options(Map(
"kudu.master" -> kuduMaster,
"kudu.table" -> s"impala::platform.${table}")).kudu
val outPutDF = df.filter(row => {
val recordAt: Long = row.getAs("record_at").toStr
浏览 1提问于2019-08-14得票数 1
我试图使用DataFrameReader.load("table name")加载hive表记录并作为DataFrame返回。
但是我不想加载整个记录，我只想获取带有特定日期的记录(这是蜂巢表中的字段之一)。
如果我在返回的DataFrame中添加where条件，它会先加载整个表然后根据日期filter记录吗？
因为单元表很大，并且是基于日期字段进行分区的。
基本上，我希望在不加载整个表的情况下使用load方法来实现select * from table where date='date'。
浏览 2提问于2016-04-19得票数 0
回答已采纳
1回答
创建不带下推谓词的动态帧问题
、、、、
AWS glue是新手，所以请原谅我的问题:当我在创建动态框架时没有包含下推谓词时，为什么会出现错误。我尝试在不使用谓词的情况下使用它，因为我将使用书签，这样无论日期分区如何，都只会处理新文件。
datasourceDyF = gluecontext.create_dynamic_frame.from_catalog(database=db_name, table_name= table1 ,transformation_ctx = "datasourceDyF")
datasourceDyF.ToDF().show(20)
vs
datasourceDyF = gluecon
浏览 7提问于2021-07-02得票数 1
1回答
我有hive外部表(以拼图格式存储的s3文件)，用spark创建，大小约为30 GB，具有数百个分区。但是，我需要查询非分区列(比如SUPPLIER_ID)上的数据，以查看完整的事务历史记录，而不是特定于某个期间或日期(分区列)。在不确定Hive表上的哪个分区数据属于哪个分区的情况下，如何确保这种查询模式？
浏览 3提问于2021-06-09得票数 0
在SQL Server中，我有一个使用Columnstore索引的表，需要执行一些聚合步骤，但如果where子句包含"or"，谓词下推就会消失，我不知道为什么，有人对此有建议吗？例如, 在此查询文本中： select sum(num) from Fact where date = '2021-06-02' and NUMF = 23 谓词下推将完美地工作。但是如果我在where子句中添加一个"OR“，例如： select sum(num) from Fact where date = '2021-06-02' or NUMF = 23
浏览 58提问于2021-07-08得票数 0
如何在DSE (datastax-Entreprise4.8)中嵌入pyspark来实现repartitionByCassandraReplica或joinWithCassandraTable？
浏览 2提问于2016-02-10得票数 1
我试图在ElasticSearch中查询一个数组
data: "names":[{"name":"allen"},{"name":"bill"},{"name":"dave"},{"name":"poter"}]
goal: "select names from table where array_contains(names.name, "bill")"
但是，如果SQL语句使用array_contains函数，spa
浏览 4提问于2017-11-16得票数 4
2回答
我遇到了几个信息来源，比如找到的，它将“谓词下推”解释为：
…如果您可以将查询的部分“向下推”到存储数据的地方，从而过滤掉大部分数据，那么您就可以大大减少网络流量。
然而，我在其他文档(如 )中也看到了“投影下推”一词，这似乎是同一回事，但我不太确定我的理解。
这两个术语有什么特别的区别吗？
浏览 3提问于2019-10-04得票数 7
回答已采纳
1回答
拼板谓词下推
、、、
parquet的谓词下推是否意味着只从磁盘加载所需的数据？
例如，如果我创建了一个spark，并且只创建了select特定字段，那么这些字段将只从磁盘中读取吗？
浏览 1提问于2016-01-28得票数 11
我的团队正在构建一个ETL流程，使用Spark将原始分隔文本文件加载到基于Parquet的“数据湖”中。Parquet列存储的承诺之一是，查询将只读取必要的“列条纹”。
但是，我们看到嵌套架构结构正在读取意外的列。
为了演示，这里是一个使用Scala和Spark 2.0.1 shell的POC：
// Preliminary setup
sc.setLogLevel("INFO")
import org.apache.spark.sql.types._
import org.apache.spark.sql._
// Create a schema with nested c
浏览 31提问于2016-10-22得票数 22
如何将过滤器下推到基于我拥有的另一个数据帧的数据帧读数？基本上，我希望避免完全读取第二个数据帧，然后进行内部连接。相反，我只想在读数上提交一个过滤器，以便在源代码上进行过滤。即使我使用了一个包含在read中的内部连接，该计划也没有显示出它正在被过滤。我觉得肯定有更好的方法来设置它。使用Spark 2.x，到目前为止我已经有了这个，但我想避免收集如下列表：
// Don't want to do this collect...too slow
val idFilter = df1.select("id").distinct().map(r => r.getLo
浏览 0提问于2018-04-06得票数 3
1回答
我想创建这样的东西：
我可以制作一个自定义的控制器(也许使用一个` `NSCollectionView )，但这需要大量的工作。有人知道Cocoa中的库或解决方法吗？
浏览 0提问于2011-10-12得票数 1
回答已采纳
1回答
我的工作是火花-蜂窝- hbase integration.Here凤凰hbase表是用于集成。
Phoenix : **apache-phoenix-4.14**
HBase : **hbase-1.4**
spark : **spark-2.3**
hive : **1.2.1**
我使用星火节约服务器，并使用jdbc.访问表。
我测试过的几乎所有基本特性都运行良好。但是，当我提交一个来自where条件的spark 的查询时，它被提交给了菲尼克斯，其中没有条件，和所有过滤都发生在火花端。
如果表中有数以十亿计的数据，我们就不能这么做。
示例：
Input-query: sel
浏览 1提问于2018-07-20得票数 1
1回答
火花JDBC并行
、、、
我正在处理用例，在这个用例中，我需要一次性卸载JDBC Datasource --在我的例子中，它是SAP数据库。我想将整个SAP数据库卸载到HDFS/MapR。我们最初尝试了sqoop，但是Sqoop的问题取决于主键字段，并且它只支持一个主键字段--按分拆-按争理。然后，我们考虑利用Spark来做数据集的Sqoop。通过各种JDBC选项可用的火花，例如，这个帖子。它还只接受一个列，而对于SAP Hana表，它主要由共轭键(多个键组成主键)组成。
source如何读取JDBC源？它是否从表中读取所有数据，然后在工作人员之间通过内存中的分区将其拆分？
在读取JDBC SAP Hana源代
浏览 0提问于2018-09-18得票数 2
我正在使用数据帧，并且我遇到了这些术语。如果可能的话，我不能完全理解它们，你能在这两个方面都举一个例子吗？
浏览 8提问于2020-05-07得票数 0
最近，Azure SQL DW通过Polybase发布了从Azure数据到Azure Data Laka Analytics的连接。
有谁知道这是否也支持谓词下推，类似于针对HDFS/Hadoop源启动MapReduce作业？
谢谢，-gerhard
浏览 0提问于2017-02-13得票数 3
回答已采纳
1回答
我想从databricks查询SAP表。我已经安装了用于连接到SAP服务器的JDBC库。我可以使用spark.read.JDBC(url = jdbcUrl，table = query，properties = connectionProperties)连接和获取记录。在table参数中，我提供了模式和表名。我想获取选择性记录。有没有办法提供查询？
浏览 22提问于2021-11-17得票数 1
1回答
我使用kudu和spark streaming作为实时仪表板，我的问题是，当我使用kudu表连接spark streaming中的批处理时，它不会对其进行谓词下推，并且需要2-3秒来获取整个spark表，然后对其进行过滤。有什么办法可以避免这种情况吗？
谢谢,
Alexandru
浏览 5提问于2019-10-30得票数 0
我有一个关于spark中的过滤的问题，当你不在过滤器中包括分区列时。
假设我有以下按日期分区的数据：
path/date=20200721/part-0000.parquet
part-0001.parquet
part-0002.parquet
path/date=20200722/part-0000.parquet
part-0001.parquet
part-0002.parquet
...
数据有一个名为"action“的列，其
浏览 2提问于2020-08-02得票数 0
1回答
星星之火不利用hdfs分区与地板
、、、、
我正在使用以下命令为hdfs编写一个拼花文件：df.write.mode(SaveMode.Append).partitionBy(id).parquet(path)
之后，我将像这样读取和过滤该文件：
val file = sqlContext.read.parquet(folder)
val data = file.map(r => Row(r.getInt(4).toString, r.getString(0), r.getInt(1),
r.getLong(2), r.getString(3)))
val filteredData = data.filter(x =&g
浏览 2提问于2016-03-21得票数 5
回答已采纳
偶然发现Hortonwork的博客文章提倡谓词下推。
我在Spark 1.4文档中找不到它(这是我正在使用的版本)。我是否需要担心将其设置为false，或者它已经是本机设置？如果我可以改变这一点，我该怎么做？
浏览 7提问于2017-01-13得票数 1
1回答
我有一个包含数百万行的大型事实表，名为MyLargeFactTable，它是一个集群列存储表。
其中还有一个复合主键约束(customer_id、location_id、order_date列)。
我还有一个临时表#my_keys_to_filter_MyLargeFactTable，它有相同的3列，它包含这3个键值的几千个唯一组合。
下面的查询将返回所需的结果集
...
FROM #my_keys_to_filter_MyLargeFactTable AS t
JOIN dbo.MyLargeFactTable AS m
ON m.customer_id = t.customer_id
AN
浏览 0提问于2020-09-22得票数 1
回答已采纳
1回答
我遇到了以下问题：
我在HDFS中的EMR集群中创建了一个没有分区的Hive表，并将数据加载到其中。
我根据paragraph#1中的表创建了另一个Hiva表，但是使用了datetime列中的分区:按(年份字符串、月字符串、日字符串)进行分区。
我将非分区表中的数据加载到分区表中，并获得了有效的结果。
我创建了一个雅典娜数据库和表，其结构与Hive表相同。
我在本地复制HDFS中的分区文件，通过aws s3同步将所有文件传输到S3空桶中。所有文件都是以与HDFS中的Hive目录相同的顺序毫无错误地传输的。
我通过MSCK修复表加载分区，在输出中没有任何错误。
之
浏览 0提问于2018-07-11得票数 0
回答已采纳
2回答
试图更深入地了解spark是如何工作的，并尝试使用pyspark cli (2.4.0)。我在寻找使用limit(n).show()和show(n)之间的区别。对于两个非常相似的查询，我最终得到了两个非常不同的性能时间。下面是我运行的命令。下面代码中引用的拼图文件大约有50列，在远程HDFS上的大小超过50 on。
# Create dataframe
>>> df = sqlContext.read.parquet('hdfs://hdfs.host/path/to.parquet') ↵
# Create test1 dataframe
>>
浏览 22提问于2021-11-23得票数 1
2回答
使用连接器，可以直接将所需列从ES加载到Spark。然而，使用火花-卡桑德拉连接器，似乎不存在这样一个直接向前的选项来进行同样的操作。
将ES中的数据读入火花--这里只有必需的列被从ES带到Spark：
spark.conf.set('es.nodes', ",".join(ES_CLUSTER))
es_epf_df = spark.read.format("org.elasticsearch.spark.sql") \
.option("es.read.field.include", "id_,empl
浏览 1提问于2020-06-18得票数 0
回答已采纳
我正在尝试以嵌套的方式在拼图中存储我的数据，并使用映射类型列将复杂的对象存储为值。
如果有人能告诉我过滤器下推是否适用于列或not.For的映射类型，下面的示例是我的sql查询-
`select measureMap['CR01'].tenorMap['1M'] from RiskFactor where businessDate='2016-03-14' and bookId='FI-UK'`
measureMap是一个映射，关键字作为字符串，值作为自定义数据类型，包含2个属性-字符串和另一个字符串映射，双对。
我想知道下推是否
浏览 2提问于2016-06-21得票数 6
1回答
如何在Turbo中将字符串转换为上、小写。
string_upper和string_lower函数用于SWI，
我找到了类似的东西，
tolower([], []).
tolower([Upper|UpperTail], [Lower|LowerTail]) :-
char_type(Lower, to_lower(Upper)),
tolower(UpperTail, LowerTail).
但却不知道到底是什么。有人能帮我解决这个问题吗。
浏览 7提问于2015-11-01得票数 0
回答已采纳
在Spark2.2中，谓词下推是否可用于压缩Parquet文件(例如GZIP、Snappy)？
浏览 2提问于2018-06-02得票数 1
回答已采纳
1回答
我使用以下代码序列
val obs = spark.read.parquet("s3://xxxx/parquettests/by_pat/")
val single = obs.filter($"pat" === "abcd")
single.explain
我得到了一个带有谓词下推的执行计划
+- Filter (isnotnull(pat#930) && (pat#930 = abcd))
+- FileScan parquet PartitionFilters: [],
浏览 2提问于2017-05-29得票数 2
我正在编写通用的UDF。如果我直接使用UDF，它就能工作，但是如果我将UDF与其他函数(distinct，max，min)一起使用，它甚至都不会调用evaluate函数。
我想看看发生了什么，所以试着记录下这些值。但是，需要了解如何将StringObjectInspector转换为String。
码
@Description(name = "Decrypt", value = "Decrypt the Given Column", extended = "SELECT Decrypt('Hello World!');")
publ
浏览 3提问于2020-06-03得票数 0
1回答
下面是我的查询(这是Microsoft查询)：
(@P1 bigint)
SELECT TOP 1 T1.JOURNALNUM,T1.LINENUM,T1.ACCOUNTTYPE,T1.COMPANY,T1.TXT,
T1.AMOUNTCURDEBIT,T1.CURRENCYCODE,T1.EXCHRATE,T1.TAXGROUP,
T1.CASHDISCPERCENT,T1.QTY,T1.BANKNEGINSTRECIPIENTNAME,
-- *Snipped lots of columns in T1* --
T1.MODIFIEDDATETIME,T1.RECVERSION,T1.PA
浏览 0提问于2019-05-14得票数 4
回答已采纳
1回答
我有一个卡桑德拉表，这是相当大的，现在我有火花-卡桑德拉与以下代码连接。
import pandas as pd
import numpy as np
from pyspark import *
import os
from pyspark.sql import SQLContext
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.datastax.spark:spark-cassandra-connector_2.12:3.0.1 --conf spark.cassandra.connection.host
浏览 2提问于2021-07-06得票数 1
回答已采纳
1回答
为什么谓词下推不起作用？
、、、
程序素描
我创建了一个HiveContext hiveContext。
在这个上下文中，我从JDBC关系表创建了一个DataFrame df。
我通过DataFrame df通过df.registerTempTable("TESTTABLE")注册。
我通过HiveThriftServer2.startWithContext(hiveContext)启动了一个HiveThriftServer2.startWithContext(hiveContext)。
TESTTABLE包含1,000,000条条目，列为ID (INT)和NAME (VARCHAR)
浏览 2提问于2015-11-01得票数 2
我有这样的数据库：
movie(matrix,wachowski,thriller).
movie(terminator, cameron, thriller).
movie(Gladiator, scott, costume).
movie(star wars, lucas, fantasy).
movie(star trek, abrams, fantasy).
除了艾布拉姆斯，我想知道是谁导演了奇幻电影。我想我需要使用'not‘谓词，但我不知道它到底是如何工作的。
?- movie(X,not(abrams),fantasy).
但不幸的是它不起作用。
还有一个问题是，什么样的电
浏览 1提问于2014-11-22得票数 0
回答已采纳
我按照found here的说明连接我的spark程序，从Cassandra读取数据。下面是我如何配置spark的： val configBuilder = SparkSession.builder
.config("spark.sql.extensions", "com.datastax.spark.connector.CassandraSparkExtensions")
.config("spark.cassandra.connection.host", cassandraUrl)
.config("spark.cass
浏览 42提问于2020-06-14得票数 4
回答已采纳
1回答
催化剂优化相
、、、
我正在研究催化剂优化器的各个阶段，但我对第一阶段的工作原理有一些疑问。
在第一阶段(分析阶段)，otimizer将创建查询的逻辑计划。但是在这里，列是未解析的，因此它需要为此使用一个目录对象。
怀疑：您知道这个目录对象是如何工作的吗?因此可以解决这个问题，例如，如果我们对hive表执行查询，优化器会连接到hdfs中的hivetable来解析列？
在第二阶段(逻辑优化)中，otimizer将标准规则应用于逻辑计划，如常量折叠、谓词推倒和项目剪枝。
怀疑：我试图找一些例子来更好地理解火花在这个阶段到底做了什么，常量折叠、谓词下推和项目剪枝是如何帮助优化查询的，但我没有在具体的方面找到任何具体的东西
浏览 1提问于2016-05-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
