当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；
同样的东西在Hive中工作，并创建数据类型为"void“的列。是否有更好的方法使用spark在hive表中插入空值？<init>(DataFrame.sca
浏览 3提问于2017-12-27得票数 0
回答已采纳
我正在做一个关于Spark scala的项目，我可以将一个Hive表的表统计数据放到一个Dataframe中进行进一步的计算吗？我可以使用下面的命令查看表的信息 “显示表统计信息table_name” 但我能把这些信息放到数据框里吗。谢谢
浏览 38提问于2019-09-20得票数 1
基于GitHub ()中的以下线程，我理解CREATE TABLE + Options (如JDBC)，将创建一个配置单元外部表？这些类型的表不会实现自身，因此当通过SQL删除该表或从Databricks tables UI中删除该表时，不会丢失数据。
浏览 2提问于2016-04-29得票数 2
我有一个查询结果，我试图将其写入GCP上的Hive表，并指向GCS bucket path，但当我执行saveAsTable()方法时，它失败了，错误如下。(DataFrameWriter.scala:273)org.apache.spark.sql.DataFrameWriter.save(DataFrameWriter.
浏览 0提问于2020-10-13得票数 2
Spark用于从SQL server DB中获取表的模式。由于数据类型不匹配，我在使用此模式创建配置单元表时遇到问题。如何在Spark Scala中将SQL Server数据类型转换为Hive数据类型。
浏览 48提问于2019-07-19得票数 1
一个关于星火结构流与HIVE表集成的查询。 val spark =SparkSession.builder().appName("StatsAnalyzer") .config.config("spark.sql.streaming.checkpointLocation", "hdfs://
浏览 0提问于2018-12-28得票数 13
我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hive
scala&g
浏览 3提问于2019-08-02得票数 0
2回答
我正在尝试理解名为DataFrame的火花saveAsTable API方法。我有以下问题
如果我只使用saveAsTable API df7.write.saveAsTable("t1")编写数据，(假设t1之前不存在)，那么新创建的表是否是一个可以使用hive在外部读取的Hive表呢？星星之火是否也创建了一些非蜂窝表(这些表是使用saveAsTable API创建的，但不
浏览 8提问于2020-12-22得票数 2
1回答
我是新来的火花。我正在尝试开发一个应用程序，使用Spark1.6将json数据保存到一个Hive表中。<init>(DataFrame.scala:145) at org.apache.spark.sql.Data
浏览 7提问于2017-07-12得票数 0
回答已采纳
1回答
星火是返回垃圾/十进制字段的值时，查询一个外部蜂巢表在星火代码中使用星火SQL。
在我的应用程序流中，火花进程最初将数据直接写入存在外部Hive表的HDFS中。当第二个Spark进程试图使用Spark从Hive表中消费时，会获取不正确的数据。scala> val =spark.sql(“选择'dummy‘作为名称，10.700000000
浏览 7提问于2020-10-07得票数 0
回答已采纳
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
我有一个简单的spark作业，它从文件中拆分单词并加载到hive中的表中。(ClientWrapper.scala:237)
at org.apache.spark.sql.hive.client.ClientWrapper.retryLocked(ClientWrapper.scalaat org.apache.spark.sql.hive.client.ClientWrapper.cre
浏览 1提问于2016-04-29得票数 1
我正在尝试使用scala代码中的hive上下文从一个dataframe创建一个HIve表，我可以在sqlContext中这样做，但是当涉及到HiveContext时，它会抛出这个错误
[error] /home/mapr/avroProject/src/main/scala/AvroConsumer.scala:75: object HiveContext in package <e
浏览 2提问于2016-12-21得票数 0
使用与hive2.2.0集成的Spark2.3 thriftserver。从火花直线跑。尝试将数据插入到单元hbase表(以hbase作为存储空间的单元表)。插入到蜂窝本机表是可以的。当插入到hbase表中时，它会抛出以下异常：
org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat不能转换为org.apache.hadoop.hiv
浏览 2提问于2018-06-04得票数 2
我目前正在使用hql将数据从配置单元表卸载到文本文件中。因为它花费了太多的时间。我想去spark或pyspark.I。我是spark/ please的新手。你能帮我解决这个问题吗?
浏览 11提问于2019-10-04得票数 0
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。DataFrame.scala:2086) at org.apache.spark.sql.
浏览 21提问于2017-04-20得票数 3
我对apache ignite和spark都是新手。在scala中，有没有人可以通过示例将ignite rdd转换为spark rdd？更新-使用案例:我将收到hbase表的数据帧..我将执行一些逻辑来构建报告，将其保存到ignite rdd中。将为每个表更新相同的ignite rdd ...一旦所有的表都被执行，最终的ignite rdd将被转换为spark或java rdd，最
浏览 3提问于2016-09-26得票数 0
hc.sql("create table emp12(name String)");
rootOK
name string
浏览 3提问于2018-01-13得票数 0
1回答
我有一个dataframe，它包含来自Hive的属性表和主表。我想删除列，然后应用掩蔽逻辑(SHA2)。将postgre中的属性配置读取为Spark/scala作业中的Dataframe。主蜂箱表输出应该是任何人，请帮助我用<em
浏览 0提问于2021-03-26得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
