在Spark SQL查询中计算派生表的大小

文章/答案/技术大牛

发布

1回答

apache-spark、apache-spark-sql

是否有可能在Spark SQL查询中近似于派生表的大小(在kb/mb/gb等格式中)？我不需要确切的大小，但一个近似值就可以了，这将允许我通过确定表是否可以在连接中广播，或者在连接中使用筛选的子查询是否比使用整个表等来更好地计划查询。例如

浏览 34提问于2020-09-09得票数 0

2回答

在MS上，SparkSQL会比本机SQL过程具有更好的性能吗？

count、apache-spark-sql、ssas、distinct、mdx

这是一个一般性的问题。我们有一个基于SQL SERVER和SSAS (OLAP)的报表应用程序。我们从Store过程中运行MDX查询，在使用SSAS时存在一些明显的计数性能问题，目前我们没有“大”数据，需要7~8秒才能得到结果。但是，我们需要对未来进行规划，以避免issue的纵向扩展问题。我们不想将重hadoop系统引入到我们的应用中(可能在将来)。因此，我们正在考虑星火和SparkSQL。我们只需要90天的

浏览 4提问于2017-08-07得票数 2

2回答

火花结构流和过滤器

spark-streaming

星星之火2.1，结构化流与原始计数(*)，和(字段)是工作正常之上的地板文件，但过滤不起作用。scala> :pasteuserSchema: org.apache.spark.sql.types.StructType = StructType(StructField(caseId,St

浏览 0提问于2017-07-31得票数 6

回答已采纳

1回答

在SparkSQL中加入表的顺序以获得更好的性能

sql、hive、apache-spark-sql、sql-optimization

我是Spark-SQL刚开始阅读Hive表的人。我想知道星火如何执行多表 Join。我在某个地方读到，建议始终将最大的表保留在联接顺序的顶部，以此类推，这有利于提高Join效率。我在Join中看到，Spark按顺序将第一个表(最大的)加载到内存中，并流另一个有助于Join性能的表。但是，我对这种策略如何提高性能感到困惑，因为最大的</em

浏览 6提问于2020-06-20得票数 4

1回答

如何使用Spark* SQL作为内存数据库？*

apache-spark、apache-spark-sql

我正在尝试理解Spark SQL的概念，想知道我是否可以使用Spark SQL作为内存中的数据库，类似于H2/SQLite？一旦我处理了100个文件中的所有记录，我就可以将数据保存为表格格式，并且可以查询表以获得结果，而不是搜索文件。这有什么意义吗？Dataset<Row> results = spark.sql("SELECT d

浏览 2提问于2018-04-24得票数 1

2回答

Spark似乎认为一个特定的广播变量很大

apache-spark

我正尝试在两个表上进行广播连接。较小的表的大小将根据参数的不同而不同，但较大的表的大小接近2TB。但是小桌子的大小根本不应该这么大。我将较小的表写到s3文件夹中，它只占用12.6MB的空间。我在较小的表上做了一些操作，因此混洗大小<

浏览 3提问于2018-10-16得票数 0

1回答

在查询优化和总体效率方面，MySQL是否比Apache spark更高效

apache-spark、apache-spark-sql

我发现在spark数据帧上进行相同的查询和相同的表查询时，Apache spark要比MySQL服务器慢得多。使用独立的pyspark笔记本

浏览 0提问于2016-06-19得票数 0

3回答

如何在hive或impala中计算表统计数据，以加快Spark中的查询？

apache-spark、hive、apache-spark-sql、impala

为了提高性能(例如对于联接)，建议首先计算表静力学。在蜂巢里我能做到：在黑帕拉：我的spark应用程序(从蜂窝表中读取)是否也从预先计算的统计数据中受益？我在Cloudera 5.5.4上使用spa

浏览 6提问于2016-09-22得票数 11

1回答

如何在sparkcontext.parallelize(.......).map()内部执行配置单元查询？

apache-spark、apache-spark-sql

此代码尝试在SparkContext runJob()方法中使用SparkSession从配置单元表执行配置单元查询。(ShuffleExchange.scala:261) at org.apache.spark.sql.executio

浏览 4提问于2018-12-17得票数 1

3回答

在Spark中将多个小表与大表连接的最佳方法

scala、apache-spark、apache-spark-sql

我正在使用spark执行连接倍数表。其中一个表非常大，其他表很小(10-20个记录)。实际上，我想使用包含一对键值的其他表来替换最大表中的值。即大表：-------------------------------------- | A1 | B1 |我的问题是；，这是加入表的最佳方式。(假设

浏览 1提问于2018-02-13得票数 3

1回答

Spark与Hive的差异与ANALYZE TABLE命令-

apache-spark、pyspark、apache-spark-sql、pyspark-sql

从Spark对Hive表运行的ANALYZE TABLE命令不会提供与从Hive发出的相同命令相同的性能改进。例如，我将一个数据帧插入到一个空的Hive表中： output.write.insertInto(“XXXXXXXX”) 然后运行analyze table命令：- spark.sql("ANALYZETABLE XXXXXXXX COMPUTE STATISTICS") 当我在<

浏览 261提问于2019-01-05得票数 2

回答已采纳

1回答

df.SaveAsTable和spark.sql之间的差异(创建表.)

scala、apache-spark、hive、pyspark、apache-spark-sql

);spark.sql("create table mytable as select * frommy_temp_table"); 在这种情况下，表存储在内存中，在这种情况下物理存储在磁盘上？而且，根据我的理解，createOrReplaceTempView只注册数据(已经在内存中了)才能通过Hive<em

浏览 1提问于2019-04-15得票数 10

回答已采纳

1回答

Spark从MSSQL读取所有表，然后应用SQL查询

sql-server、apache-spark、sql-server-2008、apache-spark-sql

我已经安装了Spark 3集群。我在SQL server中有一些数据，其大小约为100 GB。我必须对星团中的数据执行不同的查询。我已经通过JDBC从Spark连接到SQL服务器，并运行了一个示例查询。现在，我不想在SQL服务器上执行查询，而是在将数据移动/复制到Spark集群之后运行查询(因为<em

浏览 6提问于2022-01-06得票数 0

1回答

与JDBC一起使用SparkSession.sql()

mysql、scala、apache-spark、jdbc

此查询的目标是优化工作人员的内存分配，因为我不能使用： .format("jdbc")[info] at org.apache.spark.sql.catalyst.analysis.package(Analyzer.scala:459)

浏览 2提问于2018-04-20得票数 0

回答已采纳

2回答

Apache火花简单连接会导致密码错误。

java、apache-spark、cassandra

我有两个数据集，可以单独查询和显示()。一张有17张唱片，另一张有3张。") .load(); Dataset<Row> joined = attReader.joinattReader.col("key_field").equalTo(surReader.col("key_field")), "inner"); j

浏览 0提问于2018-10-08得票数 0

回答已采纳

1回答

在Spark* SQL中查找表大小( MB/GB)*

sql、apache-spark-sql、query-performance、aws-glue

我正在尝试理解Spark-Sql中的各种连接类型和策略，我希望能够了解一种近似表大小(参与连接、聚合等)的方法，以便通过了解幕后实际发生的事情来估计/调整预期的执行时间，以帮助我选择最适合该场景的连接策略(在Spark-SQL中通过提示等)。当然，表行计数提供了一个很好的起点，但我希望能够估计byte

浏览 106提问于2020-06-10得票数 2

1回答

在不更改Spark属性的情况下执行连接时未广播数据帧的示例

scala、apache-spark、apache-spark-sql

根据documentation的说法，如果这是一个“蜂窝元存储表”并且DataFrame大小小于10MB，则默认广播一个小的DataFrame。如何在本地spark-shell中创建尚未计算统计数据的表？到目前为止，我在spark.read.csv、Seq(("SOF")).toDF("name")和spark.range(1000)上尝试了

浏览 8提问于2019-09-17得票数 1

1回答

在Spark查询中计算最优混叠分区和减少倾斜

apache-spark-sql、spark-ui

现在，在设置配置SET spark.sql.shuffle.partitions=350之后，我仍然看到查询很慢。所以我的问题是-斜对于上面提到的查询，我看到12作业是在Spark中触发<

浏览 8提问于2022-01-30得票数 0

5回答

需要更少的拼花面板文件

apache-spark、dataframe、rdd、partition、bigdata

我正在进行以下过程然而，在每个分区下，有太多的拼图文件，而且每个文件的大小都很小，这会使我下面的步骤加载所有的拼图文件变得非常慢。有没有更好的方法，在每个分区下，创建更少的拼图文件，并增加单个拼图文件的大小？

浏览 6提问于2016-08-31得票数 2

2回答

使用SQL函数时出现的SparkSQL错误

sql、scala、apache-spark、apache-spark-sql

在Spark中，我试图通过读取csv文件并将列转换为正确的数据类型，对从数据框架派生的临时表执行SQL查询。具体来说，我所说的表是TPC规范中的LINEITEM表。与规范中所述的不同，我使用的是时间戳而不是日期，因为我已经阅读过Spark不支持日期类型。在我的</e

浏览 4提问于2015-09-23得票数 3

点击加载更多