基于GitHub ()中的以下线程，我理解CREATE TABLE + Options (如JDBC)，将创建一个配置单元外部表？这些类型的表不会实现自身，因此当通过SQL删除该表或从Databricks tables UI中删除该表时，不会丢失数据。
浏览 2提问于2016-04-29得票数 2
我正在尝试使用pyspark代码从aws emr上的Dynamodb创建一个外部配置单元表。当我在hive提示符上执行该查询时，它工作得很好，但当我将它作为pyspark作业执行时，它就失败了。代码如下：from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getO
浏览 2提问于2019-05-10得票数 2
2回答
我通过在我的数据帧上调用.saveAsTable创建了一个Spark SQL表。该命令完全成功。但是，现在当我查询表时，拼图文件似乎已损坏。java.io.IOException: hdfs://ip:8020/user/hive/warehouse/people/part-r-00001.parquet not a SequenceFile"scala >
浏览 3提问于2016-01-20得票数 1
5回答
如何从配置单元外部表创建数据帧
、、、、
我们喜欢在Hive外部表的顶部创建数据帧，并使用hive模式和数据进行spark级别的计算。 我们是否可以从hive外部表中获取模式并将其用作Dataframe模式。
浏览 69提问于2017-05-11得票数 1
回答已采纳
将spark 2.0与pyspark一起使用。在目标表中，希望创建唯一的row_ids，它将是唯一递增的，并且不应重复。示例代码SouceDf.registerastemptable (s
浏览 0提问于2018-06-15得票数 0
我有一个查询结果，我试图将其写入GCP上的Hive表，并指向GCS bucket path，但当我执行saveAsTable()方法时，它失败了，错误如下。:122)org.apache.spark.sql.execution.SparkPlan:151)
org.apache.spark.sql
浏览 0提问于2020-10-13得票数 2
我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hivesc
浏览 3提问于2019-08-02得票数 0
通过执行以下操作，我正在尝试从SQL查询的输出创建表：j = "select a as a1, b as b1, c as c1 fromx"df.write.saveAsTable(target_table)
这将保存包含两列的表-键和值，而不是列a1、b1和c1。但与使用已弃用的df.saveAsTable(表)的方法相
浏览 0提问于2016-09-12得票数 1
2回答
我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。
浏览 8提问于2018-08-07得票数 13
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。但它与配置单元的conf文件夹中的文件不同。从
浏览 0提问于2019-04-20得票数 0
2回答
我使用以下代码在Spark SQL中创建/插入数据到Hive表中： .builder() .master("local/spark-warehouse/tablename/下创建地块文件，并使用正确的create table语句在hive中创建表。'=
浏览 3提问于2017-02-27得票数 3
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
我正在尝试使用Spark SQL从Hive元存储中读取一个表，但Spark给出了一个关于表未找到的错误。我担心Spark SQL会创建一个全新的空转储。我通过以下命令提交spark任务：
spark-submit --class etl.EIServerSpark --driver-class-path '/opt/cloudera/parcels/
浏览 6提问于2015-07-01得票数 4
2回答
我已经创建了一个临时表，该表在列关键字上存储桶。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。我不确定spark sql是否将数据写入存储桶
浏览 1提问于2018-08-02得票数 5
1回答
使用spark读取数据框后，我正在尝试创建拼图文件格式的配置单元表格- spark-sql .Table已在hive中以顺序文件格式创建，而不是拼图文件format.But在表格路径中，我可以看到拼图文件已创建我无法从hive.This查询此文件是我使用的代码。user/hive/warehouse/test/normal").format("parquet
浏览 37提问于2019-08-29得票数 0
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
我用"Org.apache.hadoop.hive.ql.io.parquet.serde.MapredParquetInputFormat“格式创建了我的配置单元外部表，输出格式："Org.apache.hadoop.hive.ql.io.parquet.serde.MapredParquetOutputFormat如何使用Pyspark从hdfs读取这些配置单元表文件？
浏览 35提问于2021-07-09得票数 0
我正在使用spark 1.3.0 (在python)DF.show(3)
我正在尝试将该DF保存到不存在配置单元表中"write" among (IMSI, Date, Hour, Tim
浏览 0提问于2017-01-20得票数 0
我有一个使用配置单元命令创建的兽人配置单元表 create table orc1(line string) stored as orcfile 我想写一些数据到这个表使用spark sql，我使用以下代码._
Seq("Hello Spark", "Hello Hadoop").toDF("a")
浏览 44提问于2019-03-02得票数 1
1回答
我安装了本地hadoop单节点和配置单元，并将一些配置单元表存储在hdfs中。然后，我使用MySQL元存储区配置配置单元。现在我安装了spark，我正在对hive表进行一些查询，就像这样(在scala中)：result = hiveCo
浏览 2提问于2016-04-04得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
