腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何解决此错误"org.apache.
spark
.SparkException:所请求的分区与火花壳中的tablename表不匹配“
、
、
、
当将数据
写入
已
分区表
中时,我会遇到以下错误。org.apache.
spark
.SparkException:请求的分区与tablename表不匹配:scala> data1.write.format("
hive
").partitionBy("category","state&quo
浏览 2
提问于2019-04-17
得票数 1
3
回答
在
Spark
中将多个小文件合并为几个大文件
、
、
、
、
我通过
Spark
使用
hive
。在我的
spark
代码中,我有一个Insert Insert my table查询。输入数据为200+gb格式。当
Spark
写入
分区表
时,它会生成非常小的文件(以kb为单位的文件)。因此,现在输出
分区表
文件夹中有5000+小kb文件。我想把这些合并成几个大的MB文件,可能是几个200mb的文件。("set
hive
.exec.dynamic.partition.mode=nonstrict") val
浏览 6
提问于2015-06-24
得票数 8
回答已采纳
2
回答
当数据存储在对象存储中时,从
Spark
SQL访问配置单元表
、
、
我使用
spark
dataframe编写器将数据
写入
IBM Cloud Object Storage中的内部
hive
表,格式为parquet。因此,我的配置单元元存储在HDP集群中,我正在从HDP集群运行
spark
作业。此
spark
作业将数据以parquet格式
写入
IBM COS。.config("
hive
.metastore.uris", "<thrift_url>")
浏览 40
提问于2018-12-18
得票数 0
1
回答
无法使用pyspark将dataframe
写入
配置单元分区镶嵌表
、
、
我正在尝试将我的数据帧
写入
分区的
hive
表中,.
Hive
表的格式是parquet。 但我无法将df写到
Hive
表中。我正在尝试将我的数据帧
写入
分区的
hive
表中,.
Hive
表的格式是parquet。 但我无法将df写到
Hive
表中。
Spark
2.3和分区配置单元表 当我试图将finaldf加载到配置单元
分区表
中时,我得到了以下错误 finaldf.write.mode("overwrite").f
浏览 28
提问于2019-05-27
得票数 0
2
回答
如何在使用
spark
数据帧
写入
时自动计算numRepartition
、
、
当我尝试将dataframe
写入
Hive
拼接
分区表
时我也理解,块的数量会提高Hadoop的性能,但达到阈值后也会降低性能。basing on df size or somethi
浏览 2
提问于2018-08-13
得票数 1
1
回答
不要写信给蜂巢
、
我有一个
Spark
应用程序,它完美地
写入
了
Hive
分区表
。我在Dataframe中添加了两个新列,这两个列是我在
Hive
中坚持的,它停止了对
Hive
的
写入
,并且默默地没有插入任何行。我在
Hive
模式中也添加了从DF2获得的两个新的cols,并且在代码和
Hive
模式之间保持了顺序(也就是在两个地方的最后一个col之后)。为什么不写进蜂巢里呢?
浏览 2
提问于2017-02-23
得票数 1
3
回答
将数据帧存储到
spark
中的配置单元
分区表
、
、
我正在尝试将来自kafka主题的数据流存储到一个
hive
分区表
中。我能够将数据流转换为数据帧,并创建了一个配置单元上下文。我的代码如下所示hiveContext.setConf("
hive
.exec.dynamic.partition", "true") hiveContext.setConf("
hive
.exec.dynamic.partition.mode", "nonst
浏览 0
提问于2016-10-19
得票数 2
1
回答
如何自动更新流数据的
Hive
外部表元数据分区
、
、
、
、
我正在使用pyspark将星火流数据
写入
hdfs分区。请找到密码 .outputMode("append")在将数
浏览 4
提问于2022-02-13
得票数 1
1
回答
Spark
HiveContext -从外部分区配置单元表分隔符读取问题
、
、
我有一个外部分区
Hive
表,其下划线文件行格式的分隔字段以'|‘结尾,通过
Hive
直接读取数据是可以的,但当使用
Spark
的Dataframe API时,分隔符'|’不被考虑。创建外部
分区表
:partitionedTERMINATED BY '|' location '/cl
浏览 6
提问于2016-08-20
得票数 2
1
回答
星星之火1.6蜂巢上下文setConf问题
、
、
我在运行将数据加载到单元上下文中的
分区表
的sql时遇到了问题,我确实设置了dynamic partition = true,但仍然有问题。", "nonstrict") <dependency> <groupId>org.apache.
spark
<
浏览 3
提问于2017-12-24
得票数 0
回答已采纳
1
回答
通过接受和InsertInto命令激发Scala性能问题
、
另一种情况是,它大约需要10分钟才能将数据存储器
写入
hive
表(它有最多200行和10列)。-XX:+PrintGCTimeStamps -Djava.security.auth.login.config=kafka_
spark
_jaas.conf“--文件/home/ngap.app.rcrp/
hive
-site.xml,/home/kafka_
spark
_jaas.conf,/etc/security/keytab
浏览 4
提问于2019-01-15
得票数 0
1
回答
PySpark无法通过sparkContext/hiveContext读取
Hive
事务表?我们可以使用Pyspark更新/删除蜂箱表数据吗?
、
、
、
、
我尝试过使用PySpark访问
Hive
事务表(它在HDFS上有底层的增量文件),但是我无法通过sparkContext/hiveContext读取事务表。
浏览 5
提问于2019-08-01
得票数 1
回答已采纳
4
回答
星火库中蜂巢表的HDFS定位
、
、
、
、
我试图使用以下查询从星火库中的
Hive
分区表
中解析出位置:我无法在
Spark
中找到任何查询或任何其他方式来具体地从该查询中选择Location列。
浏览 2
提问于2019-06-17
得票数 6
回答已采纳
2
回答
Spark
SQL saveAsTable返回空结果
、
、
、
、
我使用以下代码在
Spark
SQL中创建/插入数据到
Hive
表中: .builder() .master("local/
spark
-warehouse/tablename/下创建地块文件,并使用正确的create table语句在
hive
中创建表。snappy.parquet └── part-r-00018-f42ce8ac-a42c-46c
浏览 3
提问于2017-02-27
得票数 3
2
回答
无法从
spark
sql插入到配置单元
分区表
、
、
、
我有一个配置单元
分区表
txnaggr_rt_fact,它有2个列分区txninterval和intervaltype。我正在尝试使用java从
spark
sql插入一条记录到这个表中。Java代码如下所示 .builder()
spark
.sql("use nadb
浏览 0
提问于2018-08-20
得票数 0
1
回答
Spark
SQL限制与
Hive
SQL限制的差异
、
、
在
Hive
中,如果我们调用limit子句,它会给出更快的响应。同样的事情,如果我们在
Spark
SQL中运行,它会花费更多的时间。你能深入解释一下吗?在蜂巢中 SELECT * FROM employee LIMIT 10; 在
Spark
SQL中,
spark
.sql("SELECT * FROM employee LIMIT 10").show() 限制查询如何对
分区表
起作用?
浏览 18
提问于2020-12-09
得票数 0
6
回答
将火花数据作为动态
分区表
保存在蜂巢中
、
、
、
可以使用df.saveAsTable(tablename,mode)方法以拼花格式将数据存储到
Hive
表中。上面的代码工作正常,但是我每天都有这么多的数据,所以我想根据creationdate(表中的列)动态地划分
hive
表。 是否有任何方法来动态划分数据并将其存储到蜂窝仓库。
浏览 7
提问于2015-07-10
得票数 41
回答已采纳
1
回答
使用
Spark
和Alluxio管理S3的文件大小
、
、
、
我使用
Spark
在Alluxio中
写入
数据,使用UFS作为S3,使用
Hive
拼接
分区表
。我在Alluxio中使用配置单元分区字段上的重分区函数来提高写操作的效率。
浏览 8
提问于2019-07-02
得票数 1
1
回答
spark
如何从
Hive
读取和
写入
数据?
、
val
spark
= SparkSession .appName("
Spark
Hive
Example") .enableHiveSupport()当我使用
spark
-shell执行
spark
-sql从
Hive</em
浏览 1
提问于2017-11-10
得票数 1
1
回答
ValidationFailureSemanticException:分区规范包含非分区列
、
、
、
我正在尝试一个简单的用例,将其插入到S3上的单元格
分区表
中。我正在齐柏林飞艇笔记本上运行我的代码,下面是我的代码以及命令输出的截图。我检查了
hive
表和dataframe的模式,列名没有大小写差异。import org.apache.
spark
.sql.
hive
.HiveContext System.setProperty("
hive
.metastore.uris("
hive
.exec.dynamic.pa
浏览 2
提问于2020-10-07
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
浅谈Hadoop、Hive、Spark之间的联系
Spark 之访问 Hive 空指针异常
大数据入门基础系列之浅谈Hive的分区表
大数据Hadoop、Hive及Spark的内在联系
Flink1.11+Hive批流一体数仓
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券