在Spark SQL中，有没有一种SQL方法可以找到表的物理存储大小
在Spark SQL中，可以使用DESCRIBE EXTENDED语句来查找表的物理存储大小。该语句会返回表的详细信息，包括表的物理存储大小。
具体步骤如下：
- 首先，使用
USE database_name语句选择要查询的数据库。 - 然后，使用
DESCRIBE EXTENDED table_name语句来查找表的详细信息，其中table_name是要查询的表名。
执行以上步骤后，Spark SQL会返回表的详细信息，其中包括表的物理存储大小。
在腾讯云的产品中，可以使用TencentDB for TDSQL或者TencentDB for PostgreSQL来存储数据，并使用Spark SQL进行查询和分析。这些产品提供了高性能、可扩展的数据库服务，适用于各种规模的应用场景。
TencentDB for TDSQL产品介绍链接地址：https://cloud.tencent.com/product/tdsql TencentDB for PostgreSQL产品介绍链接地址：https://cloud.tencent.com/product/postgres
相关·内容
1回答
在Spark SQL中，有没有一种SQL方法可以找到表的物理存储大小
apache-spark、apache-spark-sql
底层数据源以Parquet格式存储，并通过Hive公开。
有没有办法使用SQL查询来询问给定表的物理存储大小？
浏览 9提问于2019-11-07得票数 0
回答已采纳
1回答
如何对数据进行物理分区以避免Spark SQL连接中的混洗
apache-spark-sql
我需要连接5个中等大小的表(每个表大约80 gb )和大约800 gb的大型输入数据。所有数据都驻留在配置单元表中。我使用Spark SQL 1.6.1来实现这一点。Join需要40分钟的时间才能完成--num-executors 20 --driver-memory 40g --executor-memory 65g --executor-cores 6。也看到了大量的洗牌发生。
我将hive<e
浏览 3提问于2016-10-25得票数 1
1回答
Spark从具有未知类型的任意列中减去整数
dataframe、apache-spark、databricks
我尝试从一个系统获取任意SQL语句作为输入，并在Spark Databricks集群中运行它。此时，我的程序知道SQL语句的备用表，并为查询加载了这些表。但是我遇到了一个问题，SQL允许您从任意列中减去一个整数，而Spark不允许。我正在尝试通过正则表达式找到一种方法，将(T1.SomeColumn - 1)替换为它的s
浏览 36提问于2020-08-27得票数 0
回答已采纳
3回答
在Spark中将多个小表与大表连接的最佳方法
scala、apache-spark、apache-spark-sql
我正在使用spark执行连接倍数表。其中一个表非常大，其他表很小(10-20个记录)。实际上，我想使用包含一对键值的其他表来替换最大表中的值。即大表：--------------------------------------
| A1 | B1 |我的问题是；，这是加入表的最佳方式。(假设
浏览 1提问于2018-02-13得票数 3
1回答
在物理计划中执行交换和排序步骤的配置单元存储桶表
apache-spark、hive、pyspark、apache-spark-sql
我有两个表，它们都聚集在相同的列上，但是在连接聚集列上的两个表时，执行计划同时显示了交换和排序步骤。我希望在我的计划中避
浏览 1提问于2019-06-12得票数 1
1回答
df.SaveAsTable和spark.sql之间的差异(创建表.)
scala、apache-spark、hive、pyspark、apache-spark-sql
关于与insertInto的区别df.saveAsTable("mytable");df.createOrReplaceTempView("my_temp_table");spark.sql("create table mytable as select * frommy_temp
浏览 1提问于2019-04-15得票数 10
回答已采纳
2回答
什么是Apache Spark (SQL)中的Catalyst Optimizer？
pyspark、pyspark-sql
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
3回答
为什么连接失败与"java.util.concurrent.TimeoutException:期货超时后[300秒]“？
scala、apache-spark、join、apache-spark-sql
我用的是火花1.5。我有两份表格的数据：res1: org.apache.spark.sql.DataFrame = [basket_id: string,请注意，我在linkPersonItemLessThan500DF上使用的是linkPersonItemLessThan500DF，因为我打算稍后加入这两者。:1904)
at org.apache.spark.sql.Dat
浏览 5提问于2016-12-13得票数 71
回答已采纳
1回答
如何列出Hive表的分区剪枝输入？
apache-spark、hive、apache-spark-sql
我正在使用Spark查询Hive中的数据。数据被分区，Spark在查询时正确地修剪分区。但是，我需要列出给定查询的源表以及分区过滤器或特定的输入文件(.inputFiles是很明显的选择，但它并不反映剪枝)，以便确定计算的哪一部分数据。我能得到的最接近的是打电话给df.queryExecution.executedPlan.collectLeaves()。这将相关的</em
浏览 12提问于2017-09-14得票数 1
回答已采纳
1回答
Newbie :如何确定我在Oracle 11g数据库中使用的存储量？
oracle11g、storage
在开始从11g到MSSQL的数据的实际物理副本之前，如何确定需要留出什么样的空间？在Oracle SQL Developer中，我能够在SQL会话中找到Statistics选项卡。我看到这个选项卡可能会给我一些高级/粗略的想法版本，我正在寻找的东西--但是，我有几百个表，所以这个方法看起来不太实用。是否有一种<
浏览 3提问于2016-09-29得票数 0
回答已采纳
2回答
ADF将数据从Azure数据砖Delta复制到Azure Sql Server
azure-data-factory、azure-databricks、azure-data-factory-2
我正在尝试使用数据复制活动从azure databricks delta湖提取信息，但我注意到它并不直接将信息从增量湖传递给我需要的SQL服务器，而是必须将其传递给蔚蓝blob存储，运行它时，它会引发以下错误fs.azure.account.key Caused by: Invalid configuration value detected for fs.azure.account.key
为了寻找信息，我找到了一个可能的解决方案有没有人知道如何将信息从azure databricks
浏览 48提问于2022-11-28得票数 0
回答已采纳
1回答
在不更改列名的情况下创建PySpark数据框
apache-spark、pyspark、apache-spark-sql、databricks
我使用下面的CTAS命令使用SparkSQL创建表。FROM TBL1 在那之后，我正在使用下面的PySpark代码读取新创建的位置(TBL2)下面的文件。但是，下面的data frame仅使用lowercase中的所有列名创建。而预期的结果是在camel case中，就像我在上面对CTAS所做的那样。df = spark.read.format('ORC') \
.option('infe
浏览 12提问于2019-12-23得票数 1
回答已采纳
1回答
如何将来自App center的传入blob的结构修改为azure中的Application insights？
azure、blob、azure-application-insights、azure-data-factory
我想使用Azure数据工厂解析Sql数据库的应用程序洞察中的传入blob。我能够解析blob的大部分，因为它是json格式的(甚至是嵌套的)，但是在相同的JSON中有一些嵌套的非结构化元素，我需要解析，这是目前无法解析的。那么，如何解决这个问题，或者是否有可能改变应用程序洞察中传入斑点的模式？
浏览 13提问于2019-02-27得票数 0
回答已采纳
2回答
通过thrift服务器从web浏览器访问Spark RDDs - java
apache-spark、thrift、rdd
我们已经使用Spark 1.2.1和Java处理了我们的数据，并存储在Hive表中。我们希望通过web浏览器以RDDs的形式访问这些数据。
我阅读了文档，并理解了完成任务的步骤。我无法找到通过thrift服务器与Spark SQL RDDs进行交互的方法。我找到的示例在代码中有以下行，但我在<
浏览 1提问于2015-04-24得票数 3
1回答
在Spark SQL中查找表大小( MB/GB)
sql、apache-spark-sql、query-performance、aws-glue
首先，请允许我先说一句，我对Spark-SQL非常陌生。我正在尝试理解Spark-Sql中的各种连接类型和策略，我希望能够了解一种近似表大小(参与连接、聚合等)的方法，以便通过了解幕后实际发生的事情来估计/调整预期的执行时间，以帮助我选择最适合该场景的连接策略(在Spark-SQL<
浏览 106提问于2020-06-10得票数 2
2回答
C#如何在一个数据视图中显示多个数据库表？
c#、sql
我的Windows窗体应用程序上有一个datagridview和Show按钮。在datagridview中，我想显示多个数据库的表，但在我的sql代码中，我只显示当前数据库的表。如何显示所有数据库的表？
浏览 0提问于2019-09-13得票数 0
4回答
MS SQL表的物理大小
sql、sql-server-2005
如何在MS SQL2005中找到表的物理大小？是否可以使用sql查询？谢谢。
浏览 0提问于2010-05-12得票数 16
回答已采纳
3回答
如何从Databricks Delta表中删除列？
sql、apache-spark、apache-spark-sql、databricks、delta-lake
我最近开始发现Databricks，并面临需要删除增量表的某一列的情况。当我使用PostgreSQL时，它就像DROP COLUMN metric_1;
我正在查看删除时的数据库，但它只覆盖了DELETE the我也找到了关于DROP database，DROP function和DROP table的文档，但完全没有关于如何从增量表中删除列的文档。这里我漏掉了什么？是否有从增量表中删除
浏览 4提问于2019-01-31得票数 12
回答已采纳
2回答
检查pyspark dataframe是否为空，从而导致内存问题
python、sql、pyspark、write
我有一个表，其中包含大约10亿条记录。我对它运行了一个查询，实质上是查找重复项。如果查询结果为0行，则没有重复项，否则有重复项。如果有重复，我想把表名写到一个文本文件中。所以我要做的是 with open('duplicate_tabl
浏览 0提问于2020-06-12得票数 0
1回答
有没有什么方法可以让我在一个pyspark脚本中从10个不同的模式中拉取数据？
hadoop、pyspark、apache-spark-sql、pyspark-dataframes
我在SQL server上有一些数据，这些数据存储在10个不同的模式中。尽管表结构在所有模式中都是相同的。有没有什么方法可以让我在一个pyspark脚本中提取所有的数据？另一种方法是为10个模式创建10个数据框，然后联合所有模式，这将需要我访问sql服务器10次。例如，如下所示：
df1 = spark.<em
浏览 10提问于2020-05-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
