表数据在Spark中存储在哪里？

文章/答案/技术大牛

发布

1回答

Delta Lake表元数据

delta-lake

Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。

浏览 31提问于2020-07-21得票数 1

回答已采纳

1回答

关于Spark sql表和数据库的问题

apache-spark、pyspark、apache-spark-sql

我是Spark的新手，对以下几点感到困惑：当我们为自己的分析创建新的数据库和全局表(使用dataframe API或spark sql)时，这些是在哪里创建/存储的？这些数据是存储在Spark memory中，还是存储在Spark读取数据的外部存储中(可以是Hive/HD

浏览 2提问于2021-04-19得票数 0

1回答

apache-spark、apache-spark-sql、apache-spark-2.0

嗨，我想找出SparkSQL在Spark中存储表元数据的位置？如果默认情况下它不在配置单元元存储中，那么它存储在哪里？

浏览 113提问于2019-03-10得票数 2

回答已采纳

1回答

星星之火上的星星之火

apache-spark、hive、apache-spark-sql、spark-dataframe

我正在浏览星火和sql的文档，并试图理解Spark和星火上的蜂巢之间的区别。考虑一种情况，当我在没有的情况下启动星火会话--任何明显的单元支持，比如复制hive-site.xml，然后将表持久化到我的spark程序中，数据和元数据将存储在哪里。考虑一种情况，当我启动一个星星之交时，它支持单元，比如复制hive-ste.xml并使spark意识到现有的蜂巢。然后，如果我持久化，表将数据</em

浏览 3提问于2016-08-08得票数 1

1回答

Spark_SQL模式和表数据将存储在哪里？

hadoop、apache-spark、hive、apache-spark-sql

我对火花( spark_sql )很陌生，我已经将数据加载到spark_sql中，我还创建了表并将一些数据加载到其中。我的问题是:模式和表数据将存储在哪里？

浏览 3提问于2017-02-14得票数 0

3回答

无法从配置单元查询`saveAsTable`之后的Spark* DF - Spark SQL特定格式，与配置单元不兼容*

scala、apache-spark、hadoop、hive、apache-spark-sql

我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hivesc

浏览 3提问于2019-08-02得票数 0

1回答

星星之火创建的数据库到哪里去了？

azure-ml

我正在学习本教程：https://docs.microsoft.com/en-us/learn/modules/intro-to-azure-databricks/4-using-notebooks%sql USE Databricks; CREATE TABLE IF NOT/mnt/training/asa&

浏览 0提问于2019-12-29得票数 2

2回答

通过sparkSQL创建蜂窝

apache-spark、hive、apache-spark-sql、data-processing

我对蜂巢中的扣环有一个疑问。我已经创建了一个临时表，该表在列关键字上存储桶。当我检查这个表的基目录时，它显示了前缀为part_*的文件名。但是，当我通过另一个表手动将数据插入到这个表

浏览 1提问于2018-08-02得票数 5

2回答

HiveContext没有读取Orcfile的架构

scala、apache-spark、hive、orc、hortonworks-sandbox

当我在Hive中“描述mytable”时，它会正确地打印列名，但当我运行'orcfiledump‘时，它也会显示_col0、_col1、_col2。我是否必须指定“读取上的模式”或其他什么？如果是，我如何在Spark/Scala中做到这一点？warehouse/mydb.db/mytable1fieldNames: "_col0"fieldNames: "_col2"

浏览 5提问于2016-08-02得票数 3

回答已采纳

1回答

如果没有启用Hive支持，那么在哪里创建火花表？

apache-spark

当我在Spark 2中使用SQL语法创建表时，创建的表在哪里？星火是否会在内部存储，必须始终支持Impala或Hive支持星火表才能工作？

浏览 0提问于2018-12-04得票数 1

回答已采纳

1回答

WSO2DAS中的分析

wso2、wso2-das

在wso2das的spark console上运行select查询时，我得到一个找不到表的错误。安装完成后，我保留了所有的默认配置。我无法从事件流中获取数据，即使它显示在数据资源管理器的表下拉列表中。

浏览 0提问于2016-02-03得票数 0

2回答

Spark SQL扮演什么角色？内存DB？

apache-spark、apache-spark-sql

最近我开始使用Spark SQL。我读了数据源Api，仍然不明白Spark SQL的作用是什么。真的愿意接受任何答案。诚挚的问候。

浏览 0提问于2018-01-16得票数 1

1回答

如何在Databricks Spark中存储旧的流数据？

scala、databricks

我是Spark Streaming和Azure Databricks的新手。我读了很多关于spark如何工作和处理数据等的文章，但是旧数据呢？如果spark在交互式数据上工作，那么我的2周或2个月前的数据Spark可以保存吗？或者假设我必须在转换后移动数据，我应该移动到哪里并清除spark内存？它将只存储在SSD中吗？

浏览 2提问于2018-03-30得票数 0

2回答

如何将temptable保存到Hive metastore (并在Hive中进行分析)？

apache-spark、hive、apache-spark-sql、spark-dataframe、apache-spark-1.3

我使用的是Spark 1.3.1。在配置单元中，如果我运行show tables，DataFrame在配置单元数据库中不会以表的形式出现。我已经将hive-site.xml复制到$SPARK_HOME/conf，但它没有帮助(数据帧也不会出现在配置单元元存储中)。

浏览 0提问于2015-11-18得票数 0

1回答

Spark和Metastore关系

apache-spark、apache-spark-sql、metastore

我知道Hive Metastore用于存储我们在HIVE中创建的表的元数据，但是为什么spark需要Metastore，Metastore和Spark之间的默认关系是什么为什么即使iam没有使用任何sql库，spark by defaults也会检查元存储区连接？

浏览 8提问于2017-09-21得票数 4

2回答

外部配置单元表刷新表与MSCK修复

apache-spark、hive、hivecontext、hive-partitions

我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。

浏览 8提问于2018-08-07得票数 13

2回答

Spark bucketing读取性能

apache-spark、spark-dataframe、apache-spark-dataset、apache-spark-2.2

Spark版本- 2.2.1。我已经创建了一个包含64个存储桶的存储器表，我正在执行一个聚合函数select t1.ifa,count(*) from $tblName t1 where t1.date_ = '2018-01-01我可以看到Spark UI中有64个任务，它们只使用了20个中的4个executor (每个executor有16个核心)。有没有一种方法可以扩展任务的数量，或者这就是存储桶查询应该如何运行(正在运行的核心数量相当于存储</

浏览 24提问于2018-01-19得票数 2

2回答

Azure存储帐户中储存的蜂箱表在哪里？

database、azure、apache-spark、hive

如果我使用Hive创建一个表，那么表本身存储在Azure存储帐户中的位置呢？我的意图是，我想复制表和亚稳态，以复制它。

浏览 2提问于2020-05-08得票数 1

回答已采纳

1回答

当表很大时，可以在关系数据库中使用Spark吗？

sql、apache-spark、apache-spark-sql、bigdata

我想知道如何使用spark来处理存储在关系数据库中的结构化大数据？我有包含超过40亿行(GPS坐标)的表格。在使用合并操作时，Spark试图处理内存中的所有表，这是不可能的。我知道Spark是“内存中的”处理，但在我的例子中，内存不能适用于整个表。那么，当表很大时，是否可以在关系数据库中使用<

浏览 3提问于2017-02-01得票数 1

2回答

Apache不使用来自Hive分区外部表的分区信息

apache-spark、hive、apache-spark-sql

我有一个简单的Hive外部表，它是在S3之上创建的(文件是CSV格式的)。当我运行hive查询时，它会显示所有记录和分区。但是，当我在Spark中使用相同的表时( Spark在分区列上有一个where条件)，它不会显示应用了分区筛选器。然而，对于Hive托管表，Spark可以使用分区信息并应用分区筛选器。是否有任何标志或设置可以帮助我使用星火中的Hive外部表的分区？谢谢。更新: 由于某些原因

浏览 0提问于2019-08-24得票数 3

点击加载更多

Delta Lake表元数据

关于Spark sql表和数据库的问题