我试图在spark (scala)中创建一个表，然后从两个现有的数据帧中插入值，但我得到了以下经验： Exception in thread "main" org.apache.spark.sql.AnalysisException.builder() .config("spark.sql.warehouse.
浏览 9提问于2019-03-03得票数 1
我计划将spark数据帧保存到hive表中，这样我就可以查询它们并从中提取纬度和经度，因为Spark数据帧是不可迭代的。使用jupyter中的pyspark，我编写了以下代码来创建spark会话：findspark.init()from pyspark.sql import SparkSession
#readmultiple csv with
浏览 3提问于2018-05-30得票数 1
我正在尝试使用pyspark代码从aws emr上的Dynamodb创建一个外部配置单元表。当我在hive提示符上执行该查询时，它工作得很好，但当我将它作为pyspark作业执行时，它就失败了。代码如下：from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getO
浏览 2提问于2019-05-10得票数 2
1回答
即使在设置配置后仍出现错误 .getOrCreate()编辑：
这就是我如何设置用于测试的本地数据库和表。TABLE .，") cmd时，出现以下错误: error:需要配置单元支持<
浏览 2提问于2019-08-12得票数 0
2回答
我已经创建了一个临时表，该表在列关键字上存储桶。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。我不确定spark sql是否将数据写入存储桶
浏览 1提问于2018-08-02得票数 5
2回答
在SQL中，类似于可以用公式表示，以在单次通过中执行总记录以及过滤记录的计数如何在spark-data-frame API中执行此操作？即不需要将其中一个计数加入到原始数据帧中。
浏览 0提问于2017-02-02得票数 2
回答已采纳
将spark 2.0与pyspark一起使用。在目标表中，希望创建唯一的row_ids，它将是唯一递增的，并且不应重复。示例代码SouceDf.registerastem
浏览 0提问于2018-06-15得票数 0
5回答
如何从配置单元外部表创建数据帧
、、、、
我们喜欢在Hive外部表的顶部创建数据帧，并使用hive模式和数据进行spark级别的计算。 我们是否可以从hive外部表中获取模式并将其用作Dataframe模式。
浏览 69提问于2017-05-11得票数 1
回答已采纳
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hive
scala> spark.conf.set&
浏览 3提问于2019-08-02得票数 0
2回答
我通过在我的数据帧上调用.saveAsTable创建了一个Spark SQL表。该命令完全成功。但是，现在当我查询表时，拼图文件似乎已损坏。中遵循的步骤scala>val path="test.jsonscala>val people = sqlContext.jsonFile(path)
scala&
浏览 3提问于2016-01-20得票数 1
我正在使用spark 1.3.0 (在python)DF.show(3)
我正在尝试将该DF保存到不存在配置单元表中"write" among (IMSI, Date, Hour, Tim
浏览 0提问于2017-01-20得票数 0
通过执行以下操作，我正在尝试从SQL查询的输出创建表：j = "select a as a1, b as b1, c as c1 fromx"df.write.saveAsTable(target_table)
这将保存包含两列的表-键和值，而不是列a1、b1和c1。但与使用已弃用的df.saveAsTable(表<
浏览 0提问于2016-09-12得票数 1
有没有办法不使用" Hive -site.xml“就从Spark连接到hive？
浏览 22提问于2019-01-15得票数 0
1回答
我在配置单元控制台/ .hiverc文件中使用了以下属性，以便每当我查询该表时，它都会更新配置单元元存储的TBLS表中的LAST_ACCESS_TIME列。set hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec;
但是，如果我使用spark-sql或spark-s
浏览 1提问于2020-02-25得票数 5
基于GitHub ()中的以下线程，我理解CREATE TABLE + Options (如JDBC)，将创建一个配置单元外部表？这些类型的表不会实现自身，因此当通过SQL删除该表或从Databricks tables UI中删除该表时，不会丢失数据。
浏览 2提问于2016-04-29得票数 2
我正在尝试编写一个依赖于DataFrame.saveAsTable()的单元测试用例(因为它是由文件系统支持的)。我将配置单元仓库参数指向本地磁盘位置：默认情况下，应启用metastore的嵌入式模式，因此不需要外部数据库。
浏览 4提问于2015-05-29得票数 8
2回答
我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。
浏览 8提问于2018-08-07得票数 13
在spark 1.6中
在/etc/spark/conf下创建软链接后，当我运行spark-shell时，它没有创建支持配置单元的sql上下文，并显示错误-“本地快照库不可用:此版本的hadoop是在没有我正在尝试创建具有配置单元支持的sql上下文，但无法执行此操作。
浏览 1提问于2016-10-31得票数 0
3回答
我在几个月前创建了一个表格。在HIVE中有什么方法可以让我看到表是什么时候创建的吗？
show table不给出表的创建日期。
浏览 5提问于2015-06-01得票数 8
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
