扫描的分区数(=32767)超出限制
扫描的分区数(=32767)超出限制
提问于 2017-11-04 01:10:34
我在试着用Eel-sdk把数据传输到蜂巢里。
val sink = HiveSink(testDBName, testTableName)
.withPartitionStrategy(new DynamicPartitionStrategy)
val hiveOps:HiveOps = ...
val schema = new StructType(Vector(Field("name", StringType),Field("pk", StringType),Field("pk1",a StringType)))
hiveOps.createTable(
testDBName,
testTableName,
schema,
partitionKeys = Seq("pk", "pk1"),
dialect = ParquetHiveDialect(),
tableType = TableType.EXTERNAL_TABLE,
overwrite = true
)
val items = Seq.tabulate(100)(i => TestData(i.toString, "42", "apple"))
val ds = DataStream(items)
ds.to(sink)获取错误:扫描的分区数(=32767)超过限制(=10000)。32767是2....but的一种力量，它仍然不能弄清楚哪里出了问题。有什么想法吗？
回答 1
Stack Overflow用户
发布于 2020-12-01 13:25:27
Spark + Hive : Number of partitions scanned exceeds limit (=4000)
--conf "spark.sql.hive.convertMetastoreOrc=false"
--conf "spark.sql.hive.metastorePartitionPruning=false"页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/47101085
复制相关文章
相似问题
腾讯云开发者
