我使用以下代码(Spark SQL Scala API)来检查Hive表是否为外部表，但Table API没有方法来回答给定表是否为外部表。我会问如何使用Spark SQL Scala API</
浏览 22提问于2019-11-06得票数 1
回答已采纳
基于GitHub ()中的以下线程，我理解CREATE TABLE + Options (如JDBC)，将创建一个配置单元外部表？这些类型的表不会实现自身，因此当通过SQL删除该表或从Databricks tables UI中删除该表时，不会丢失数据。
浏览 2提问于2016-04-29得票数 2
我想在Watson Studio中的Jupyter笔记本上使用Spark on analytics engine，以便能够读取和写入Hive表，但我不清楚如何通过读取Spark 来做到这一点。不清楚的原因是IBM Analytics Engine预配置了Spark，并且不提供root访问权限。我在网上找到了一些generic hadoop的帖子，描述了如何使用元存储位置创建hive.xml，但不清楚如何将其转换到IB
浏览 27提问于2018-06-02得票数 0
回答已采纳
5回答
如何从配置单元外部表创建数据帧
、、、、
我们喜欢在Hive外部表的顶部创建数据帧，并使用hive模式和数据进行spark级别的计算。 我们是否可以从hive外部表中获取模式并将其用作Dataframe模式。
浏览 69提问于2017-05-11得票数 1
回答已采纳
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
2回答
我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。你知道用refre
浏览 8提问于2018-08-07得票数 13
1回答
即使在设置配置后仍出现错误 .getOrCreate()编辑：
这就是我如何设置用于测试的本地数据库和表。TABLE .，") cmd时，出现以下错误: error:需要配置单元支持才能创建<
浏览 2提问于2019-08-12得票数 0
此文件系统的uri方案为abfs:/。已在此数据上创建了外部配置单元表。现在，我尝试使用spark.table('testingCustomFileSystem')将相同的表加载到spark dataframe中，它将抛出以下异常 at org
浏览 0提问于2019-04-30得票数 6
1回答
我是spark的新手，正在尝试使用HortonWorks沙盒在tpcds基准表上运行一些查询。在沙箱上通过外壳或配置单元视图使用配置单元时没有问题。问题是，如果我想使用spark，我不知道如何连接到数据库。如何使用spark中的配置单元数据库来运行查询？到目前为止，我所知道的唯一解决方案是手动重建每个表
浏览 4提问于2016-08-04得票数 2
我正在尝试使用Spark SQL从Hive元存储中读取一个表，但Spark给出了一个关于表未找到的错误。我担心Spark SQL会创建一个全新的空转储。/hive-site.xml
2015-06-30 17:50:51,568 INFO [main] spark.SparkContext (Logging.scala:logInfo(59)) -HMSHandler.get_table(HiveMeta
浏览 6提问于2015-07-01得票数 4
1回答
我安装了本地hadoop单节点和配置单元，并将一些配置单元表存储在hdfs中。然后，我使用MySQL元存储区配置配置单元。现在我安装了spark，我正在对hive表进行一些查询，就像这样(在scala中)：result
浏览 2提问于2016-04-04得票数 2
我目前正在使用hql将数据从配置单元表卸载到文本文件中。因为它花费了太多的时间。我想去spark或pyspark.I。我是spark/ please的新手。你能帮我解决这个问题吗?我正在使用下面的查询来卸载 beeline --outputformat=dsv --silent=true - e 'select * from <tablename>' > /dir/samplefile.txt
浏览 11提问于2019-10-04得票数 0
我正在使用下面的内容创建一个使用hive外部表的dataframe (spark scala)。但数据帧也在其中加载了数据。我需要一个使用配置单元外部表的模式创建的空DF。我使用spark scala来解决这个问题。 val table1 = sqlContext.table("db.table") 如何<e
浏览 20提问于2019-10-16得票数 1
我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hive
scala&g
浏览 3提问于2019-08-02得票数 0
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
1回答
我使用星火2.1在Azure (HDInsight)与木星笔记本。== SQL ==在org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:197) at org.apache.
浏览 3提问于2017-05-12得票数 0
回答已采纳
我有一个avro模式文件，我需要通过pyspark在Databricks中创建一个表。我不需要加载数据，只需要创建表。然后生成CREATE SQL查询。我想知道是否有任何编程方法可以使用任何API来做到这一点。
浏览 7提问于2019-06-04得票数 1
1回答
星火是返回垃圾/十进制字段的值时，查询一个外部蜂巢表在星火代码中使用星火SQL。
在我的应用程序流中，火花进程最初将数据直接写入存在外部Hive表的HDFS中。当第二个Spark进程试图使用Spark从Hive表中消费时，会获取不正确的数据。scala> val =spark.sql(“选择'dummy‘作为名称，10.700000000
浏览 7提问于2020-10-07得票数 0
回答已采纳
2回答
我正在尝试熟悉Apache，我在理解如何使用Spark将一些外部数据写入表时遇到了一些困难。I有一个文件，one.csv，位于一个目录中，/data我的Iceberg目录被配置为指向这个目录，/warehouse我想将这个one.csv写到Apache表(最好使用Spark )
甚至可以使用Spark读取外部数据吗？我是否必须
浏览 4提问于2020-12-09得票数 1
我在unix cli中运行scala_script.scala，得到的错误是：enycription key missing，而同样的scala代码在spark-shell中运行良好。代码用于访问配置单元表，将其加载到dataframe中，处理一些转换，然后再次执行：write.mode("append/overwrite").saveAsTable("my_db.my_table"代码为：
impor
浏览 3提问于2018-05-08得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
