插入到Hudi表时SdkInterruptedException导致的记录消费错误
提问于 2020-12-29 20:54:29
我有一个从迁移中创建的Hudi表，所以它有数十亿行。迁移时没有问题，但当我开始流式传输以开始向该表写入新数据时，发生了以下错误：
ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null$0(BoundedInMemoryExecutor.java:94)):94
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file s3://lake/tables/hudi/usage_fact_cpaas_by_month/organization_id=AAABBBCCC/year=2020/month=12/5235f14e-85b4-488e-99f4-9eb416532795-1_3-134-785_20201216202753.parquet
...
[2020-12-29 16:45:18,284] ERROR - error reading records from queue (org.apache.hudi.common.util.queue.BoundedInMemoryQueue.readNextRecord(BoundedInMemoryQueue.java:201)):201
java.lang.InterruptedException我对另一个迁移表执行了同样的操作，没有任何问题。这两个表之间唯一的区别是分区。
执行在AWS上进行，并使用Hudi 0.5.3。
你们中有谁遇到过这个问题吗？不确定这是Hudi还是AWS的问题。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-12-30 12:30:36
我查看了executor日志，发现有一个模式错误。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65498653
复制
腾讯云开发者
