如何解析java.lang.IllegalArgumentException不支持的Avro类型
java.lang.IllegalArgumentException是Java编程语言中的一个异常类，它表示传递给方法的参数不合法。在Avro中，它可能会抛出IllegalArgumentException异常来表示不支持的Avro类型。
Avro是一种数据序列化系统，它提供了一种紧凑且高效的数据交换格式。它定义了一种数据结构描述语言（Schema），用于描述数据的结构和类型，并提供了一套编码和解码规则，用于将数据序列化为字节流或反序列化为对象。
当使用Avro进行数据序列化或反序列化时，如果遇到不支持的Avro类型，就会抛出java.lang.IllegalArgumentException异常。这通常是因为Avro库版本不兼容或使用了不支持的数据类型。
要解决这个问题，可以尝试以下几个步骤：
- 检查Avro库版本：确保使用的Avro库版本与代码兼容。可以查看Avro官方文档或相关文档了解支持的数据类型和版本要求。
- 检查数据类型：检查代码中使用的数据类型是否符合Avro支持的类型。Avro支持的数据类型包括基本类型（如int、string、boolean等）、复杂类型（如数组、映射、记录等）以及自定义类型（通过定义Avro Schema来实现）。
- 更新Avro库：如果使用的Avro库版本过旧，可以尝试更新到最新版本，以获得更好的兼容性和支持。
- 转换数据类型：如果遇到不支持的数据类型，可以尝试将其转换为Avro支持的类型。例如，将自定义类型转换为记录类型或使用Avro提供的其他复杂类型来表示数据。
- 查找替代方案：如果无法解决不支持的Avro类型问题，可以考虑使用其他数据序列化系统或库，例如Protobuf、Thrift等。
腾讯云提供了一系列与云计算相关的产品和服务，其中包括云数据库、云服务器、云原生应用平台等。具体推荐的产品和产品介绍链接地址可以根据实际需求和场景进行选择。
相关·内容
当读取具有date列的拼花文件时，我将面临以下异常。我使用的是梁-sdks java-io* 2.11.0和拼花*-1.10，请帮我做同样的事情。
提前谢谢你。
Caused by: java.lang.IllegalArgumentException: INT96 not yet implemented.
at org.apache.parquet.avro.AvroSchemaConverter$1.convertINT96(AvroSchemaConverter.java:279)
at org.apache.parquet.avro.AvroSchemaConverte
浏览 1提问于2019-04-24得票数 0
我正在尝试以ORC格式存储Avro对象。
org.apache.hadoop.hive.serde2.avro.AvroLazyObjectInspector将Avro类型识别为无效原语，ORC编写器不支持该类型。
输入如下：
foo:uniontype<void,array<string>>
引起：
java.lang.IllegalArgumentException: Bad primitive category VOID
在ORC中允许空列吗？
浏览 6提问于2014-11-20得票数 1
我在“文件格式设置”步骤中的Azure Data Factory 'Copy Data‘工具(当前在预览中)中看到以下错误：
处理请求时出错:列: SystemProperties，位置:来源，格式: Avro，数据类型'System.Collections.Generic.Dictionary`2System.String，System.Object‘目前不支持Avro格式。activityId: 0a778ad-b 496-46c1-8de4-97b4f4169 b496 2
源文件采用Avro格式，由Azure事件中心归档生成。当我选择Avro格式时，选择blob中的任何
浏览 2提问于2017-03-20得票数 2
2回答
我正在尝试将这个值1520200800049转换为Avro。这是我的模式中字段的规范，顺便说一下，这是一个union模式：
{
"name" : "TimestampField"
"type" : ["null",{
"type":"long",
"logicalType":"timestamp-millis"
}]
}
这是我得到的错误：
Caused by: org.apache.avro.UnresolvedUnionException:
浏览 0提问于2018-06-04得票数 0
2回答
嵌套Avro模式
、、、
根据嵌套Avro模式的，嵌套记录模式的正确方法如下：
{
"name": "person",
"type": "record",
"fields": [
{"name": "firstname", "type": "string"},
{"name": "lastname", "type": "string"},
{
浏览 6提问于2016-11-28得票数 15
回答已采纳
我创建了具有数据类型-dateTimeOffset值的单列表，并插入了一些值。
create table dto (dto datetimeoffset(7))
insert into dto values (GETDATE()) -- inserts date and time with 0 offset
insert into dto values (SYSDATETIMEOFFSET()) -- current date time and offset
insert into dto values ('20131114 08:54:00 +10:00') -- manua
浏览 8提问于2016-11-30得票数 2
回答已采纳
我有AVRO hive-table，其中有一些列是小数。我知道Avro如何存储逻辑类型format.But中的小数数据。当我将这些数据加载到BigQuery中时，BigQuery无法解析这些小数数据，它将它们视为垃圾值。
浏览 1提问于2017-09-13得票数 3
Apache索引服务使用avro_stream作为解析器类型，avroBytesDecoder集类型为schema_registry和url模式注册表url。当使用kafka数据和logParseExceptions为真时，获取以下日志：
2021-01-06T02:48:33,022 ERROR [task-runner-0-priority-0] org.apache.druid.indexing.seekablestream.SeekableStreamIndexTaskRunner - Encountered parse exception on row from partition[
浏览 6提问于2021-01-06得票数 0
回答已采纳
我有一个简单的avro模式，如下所示：
{
"type": "record",
"name": "transaction",
"namespace": "com.mycompany",
"doc": "Transaction records",
"fields": [
{
"name": "versi
浏览 1提问于2016-02-15得票数 0
回答已采纳
上下文：
我可以提交一份MapReduce的工作，从德鲁伊霸主到电子病历。我的数据源是S3格式的Parquet格式。我在地板数据中有一个时间戳列(INT96)，这在Avroschema中是不支持的。
错误是在解析时间戳时发生的。
问题堆栈跟踪是：
Error: java.lang.IllegalArgumentException: INT96 not yet implemented.
at org.apache.parquet.avro.AvroSchemaConverter$1.convertINT96(AvroSchemaConverter.java:279)
at org.apache.
浏览 0提问于2018-01-21得票数 3
1回答
正在尝试编写程序来读取avro文件。 var reader = DataFileReader<GenericRecord>.OpenReader(path);
foreach (var record in reader.NextEntries)
{
var name = record["username"];
} 我从这里：https://github.com/miguno/avro-cli-examples下载了avro文件'twitter.avro‘-这个运行良好(它不是压缩的)，和'twitter.snappy.avro’(这个是压缩的
浏览 21提问于2021-10-18得票数 0
回答已采纳
我需要在我的Avro模式中向logicalType：'date‘添加一个'null’默认值。我现在的定义如下：
{
"type": "record",
"namespace": "my.model.package",
"name": "Person",
"version": "1",
"fields": [
{"name":"birthday","type": {
浏览 1提问于2018-03-19得票数 5
回答已采纳
随着2022年7月新的直接PubSub到BigQuery的发布，我们现在可以创建直接从PubSub获得数据的BigQuery订阅。
当涉及时间戳字段时，如何将它们映射到BigQuery？我试过的事情：
在PubSub中启用“使用模式”，并使用created_at: TIMESTAMP创建BQ表
文档似乎没有指定，所以忽略这一点。
使用Avro逻辑字段时，创建订阅时遇到的错误类似于Incompatible schema type for field created_at: expected INT64, got TIMESTAMP.
PubSub主题模式的示例
浏览 5提问于2022-08-02得票数 3
回答已采纳
数据库
Postgres 9.6
包含几个具有UUID列的表(包含每个记录的ID )
NiFi
最新版本(1.7.1)
使用Avro 1.8.1 (据我所知)
问题描述
使用ExecuteSQL处理器调度表时，会出现以下错误消息：
ExecuteSQLid=09033e32-e840-1aed-3062-6e8cbc5551ba ExecuteSQLid=09033e32-e840-1aed-3062-6e8cbc5551ba未能处理会话，原因是createSchema:未知的SQL类型1111 / uuid (表:国家，列: id)无法转换为Avro类型；从
浏览 0提问于2018-08-06得票数 0
我知道Sqoop支持将数据导入为Avro、Parquet、Text等格式，有没有办法将数据导入为JSON？
使用Spark目前对我来说不是一个选择。
浏览 0提问于2019-02-27得票数 0
2回答
考虑到我知道模式(这只在运行时才知道)，我如何创建/更新avro消息以获得正确的类型？例如：
builder.set=GenericRecordBuilder(模式) builder.set("someKey"，"SomeValueAsAString")
如果someKey的类型是Number (Int in avro)，则编码失败。我可以考虑的一种方法是将avro类型的schema.getField("someKey").schema().type映射到java / kotlin类型，并将其转换成java/kotlin类型，尽管我不确定它是
浏览 2提问于2019-11-17得票数 1
回答已采纳
我在卡夫卡的制片方工作，在主题上宣传信息。我用的是confluent-kafka的制作人。
下面是我的架构.avsc文件。
Keys.avsc
{
"namespace": "io.codebrews.schema.test",
"type": "record",
"name": "Keys",
"fields": [
{
"name": "name",
浏览 4提问于2021-09-23得票数 0
2回答
我为简单的类层次结构自动生成了Avro模式：
trait T {def name: String}
case class A(name: String, value: Int) extends T
case class B(name: String, history: Array[String]) extends T
看起来是这样的：
[{
"name": "org.example.schema.raw.A",
"type": "record",
"fields": [{
"name&
浏览 12提问于2016-07-01得票数 2
回答已采纳
1回答
我正在尝试用不同的模式读取由pyspark编写的avro文件。小数列精度的差异。下面是由pyspark编写的avro文件夹的文件夹结构
/mywork/avro_data/day1/part-*
/mywork/avro_data/day2/part-*
下面是它们的模式
day1 = spark.read.format('avro').load('/mywork/avro_data/day1')
day1.printSchema()
root
|-- price: decimal(5,2) (nullable = True)
day2 = spark.re
浏览 4提问于2020-07-07得票数 0
回答已采纳
我使用的是case类，它有嵌套的case类和Seq[Nested Case Classes]，问题是当我试图使用它抛出的KafkaAvroSerializer序列化它时： Caused by: java.lang.IllegalArgumentException: Unsupported Avro type. Supported types are null, Boolean, Integer, Long, Float, Double, String, byte[] and IndexedRecord
at io.confluent.kafka.serializers.Abstrac
浏览 16提问于2019-05-17得票数 4
我正在尝试从Event Hub Capture生成的AVRO文件中提取数据。在大多数情况下，这是完美无瑕的。但是某些文件给我带来了问题。当我运行以下U-SQL作业时，我得到以下错误：
USE DATABASE Metrics;
USE SCHEMA dbo;
REFERENCE ASSEMBLY [Newtonsoft.Json];
REFERENCE ASSEMBLY [Microsoft.Analytics.Samples.Formats];
REFERENCE ASSEMBLY [Avro];
REFERENCE ASSEMBLY [log4net];
USING Microsoft
浏览 0提问于2018-01-23得票数 4
2回答
在aws上执行我的Spark作业时，在尝试从s3桶读取avro文件时出现了这个错误:它发生在版本中：
电子病历- 5.5.0
电子病历- 5.9.0
这是代码：
val files = 0 until numOfDaysToFetch map { i =>
s"s3n://bravos/clicks/${fromDate.minusDays(i)}/*"
}
spark.read.format("com.databricks.spark.avro").load(files: _*)
例外情况：
java.lang.IllegalArg
浏览 3提问于2017-10-16得票数 0
1回答
我正在学习Apache和来自的合流Kafka教程，并尝试从主题中读取avro流，并根据特定的条件将数据发送到不同的主题。
错误：
[2022-11-01 12:35:41,529] (org.apache.kafka.streams.KafkaStreams) - ERROR stream-client [PosFanout-78308e33-2baa-49a8-a181-22e9c5deea42] Encountered the following exception during processing and the registered exception handler opted t
浏览 11提问于2022-11-01得票数 0
我写了一个Avro schema，其中的一些字段**需要是**类型的String，但是Avro已经生成了CharSequence类型的那些字段。
我找不到任何方法来告诉Avro将这些字段设置为String类型。
我试着用
"fields": [
{
"name":"startTime",
"type":"string",
"avro.java.stringImpl":"String"
},
{
&
浏览 2提问于2014-08-04得票数 27
回答已采纳
我有一个avro模式，其中包括以下字段之一
{
"name" : "currency",
"type" : ["null","bytes"],
"logicalType": "decimal",
"precision": 9,
"scale": 4
},
我运行avro-tools jar来创建表示模式的java文件。生成类似于：public java.nio.ByteBuffer currency;的属性
在代码的其他部分，我将使
浏览 1提问于2016-01-19得票数 7
我想使用java SDK 2读取数据流中的Avro文件。
我已经使用云函数安排了我的数据流，云函数基于上传到存储桶的文件触发。
以下是选项的代码：
ValueProvider <String> getInputFile();
void setInputFile(ValueProvider<String> value);
我正在尝试使用以下代码读取此输入文件：
PCollection<user> records = p.apply(
AvroIO.read(user.class)
.from(String.valueOf(options.get
浏览 3提问于2017-11-16得票数 0
2回答
我正在尝试将包含JSON的NiFi流文件转换为AVRO。
我遇到的问题是，我不知道如何处理AVRO中的固定类型，即如何为转换为for指定合适的JSON？
目前我使用的是转换处理器。AVRO输出模式：
{
"type" : "record",
"name" : "Message",
"namespace" : "com.example",
"fields" : [ {
"name" : "MAC",
"type&#
浏览 1提问于2019-10-15得票数 0
回答已采纳
3回答
我有一个拼花文件，我通过转换一些avro数据文件。该文件包含复杂的记录。此外，我还有这些记录的avro模式以及等效的parquet模式(我在转换文件时得到了它)。我想做一个蜂箱表，用拼花文件做后背。
因为我的记录模式有很多字段，手动声明与这些字段对应的单元列是非常困难和容易出错的。这就是为什么我希望hive使用记录的parquet模式来定义表的列，就像AvroSerDe使用avro模式定义表列一样。这是ParquetSerDe支持的吗？我怎么能这么做？
我知道可能的解决办法，首先可以使用avro模式定义avro支持的表，然后使用CTAS语句来创建parquet表。但是，如果模式有联合，这是行不
浏览 21提问于2015-01-12得票数 3
回答已采纳
1回答
我有一个XLS/CSV文件，我正在将其读取到pandas数据帧中。我想从这个数据帧中生成一个avro模式。
我对python和熊猫都是新手。请帮帮忙。
data_frame = pd.read_excel(INPUT_PATH)
我想从这个数据框中动态生成一个avro模式。请帮帮忙
浏览 14提问于2019-10-21得票数 1
回答已采纳
基于AVRO文档，对于二进制编码的AVRO，我理解有两个重要的方面。一个是AVRO schema，即：.avsc (用JSON表示)，它描述了数据的字段，然后是二进制编码的实际数据。
关于JSON编码的AVRO的文档很少，所以我想知道它是否遵循相同的语义，即我们将有JSON格式的AVRO模式文件(即：.avsc文件)，后跟将以JSON编码的数据的有效负载？或者仅仅是有效载荷，它完全是JSON编码的，其中每个键的值都是二进制编码的？
尝试使用Python，因此任何线索/示例代码都会有所帮助。
谢谢!
浏览 26提问于2021-11-11得票数 0
1回答
共享Avro模式/生成的源代码的最佳实践是什么？
我有两个通过Kafka通信的Java应用程序。我的想法是对应用程序之间流动的事件使用Avro模式。因此，将Avro模式提取到一个共享库中似乎是一个好主意。但是，什么才是真正的最佳实践呢？正常生成的文件不会存储在源代码管理中。但Avro生成的Java类也是这种情况吗？如果不是这样，那么每个使用者都必须在编译时生成自己的类(但如果模式位于maven、gradle等依赖项中，这是可能的吗？)
浏览 2提问于2018-11-27得票数 2
1回答
我正在编写一个简单的Java工具，将kafka主题的内容转储到控制台上。卡夫卡唱片的价值恰巧是一个阿夫罗对象。我希望能够以某种人类可读的格式转储Avro数据。我想知道是否有办法将一个Avro对象(作为字节数组)的内容打印成某种人类可读的格式？
KafkaConsumer<String, byte[]> kafkaConsumer = createConsumer(); //Create a consumer with my config
ConsumerRecords<String, byte[]> records = kafkaConsumer.poll(200);
浏览 6提问于2016-11-06得票数 1
回答已采纳
1回答
我正在为avro数据集应用"avroCompressionCodec"："snappy“。然而，Azure Data Factory V2管道中的复制活动忽略了压缩。在设计时，它会显示一条警告-使用Avro数据集作为拷贝目标时，压缩类型将被忽略。
我们知道在这种情况下如何应用压缩吗？
浏览 2提问于2019-11-30得票数 1
1回答
背景
优化内存使用
问题
如何使用缓冲区将avro数据插入到clickhouse?Can i直接从消耗脉冲星的数据中插入数据，而无需解组和编组?
代码
现在我使用来自脉冲星的消息
msg, err := pulsarConsumer.Receive(ctx)
并将消息发送到频道
dataWriteChan <- msg
另一个从通道接收msg并使用avro解封送出的函数。
msg <- dataWriteChan
dataPayload := msg.Payload()
var avroData interface{}
err := avro.Unmarshal(avroCod
浏览 14提问于2022-07-04得票数 0
在集成测试中测试flink mini集群上的流时，我遇到了一个问题。该流映射一个生成的Avro Java类( SpecificRecord )。 流作业是用Scala编写的。 flink运行时正在崩溃，因为它无法实例化org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils 下面是堆栈跟踪： stack: java.lang.ClassCastException: class org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils
java.lang.RuntimeE
浏览 38提问于2020-09-25得票数 0
我正在使用PutElasticsearch5处理器将文档索引到ES.My工作流程中，在PutElasticsearch5之前有几个其他处理器，它将avro转换为json。
当我运行工作流时，我得到了以下给定的错误。
java.lang.IllegalArgumentException:验证失败: 1:缺少内容类型；2:缺少内容类型；
我找不到任何其他相关信息来解决此问题。在Putelasticsearch5 configuration下没有"Content Type“设置
浏览 0提问于2017-06-29得票数 2
我想为以下Typescript代码的架构注册表创建一个Avro架构： export type Value = {
[key: string]:
| Value
| Value[]
| string
| number;
}; 它是一种递归映射类型。我知道可以像下面这样创建一个递归记录，但这是一个不同的用例。 export type Node = {
value: number;
leafs: Node[];
} 我尝试了不同的方法，包括命名类型和模式引用，但在发布模式时都会导致验证错误。 需要但无效的简化模式(不包括递归数组)如下所示： {
&#
浏览 38提问于2021-11-05得票数 0
我正在编写我的第一个Avro模式，它使用JSON作为模式语言。我知道你不能将注释放入普通的JSON中，但我想知道Avro工具是否允许注释。例如，它可能会在解析JSON之前剥离它们(就像预处理器一样)。
编辑:我正在使用C++ Avro工具链
浏览 0提问于2013-05-23得票数 12
1回答
我有一个简单的案例课
case class KafkaContainer(key: String, payload: AnyRef)
然后我想通过制片人把这个发给卡夫卡主题
val byteArrayStream = new ByteArrayOutputStream()
val output = AvroOutputStream.binary[KafkaContainer](byteArrayStream)
output.write(msg)
output.close()
val bytes = byteArrayStream.toByteAr
浏览 2提问于2018-08-01得票数 0
我在HDFS文件夹/user/data/output_ files /file_2017-10-18中有一些avro文件
scala> val hdfsLoc ="/user/data/output_files/file_2017-10-18/*.avro"
hdfsLoc: String = /user/data/output_files/file_2017-10-18/*.avro
scala> val conf = new Configuration()
scala> val fs = FileSystem.get(conf)
scala&
浏览 0提问于2017-12-08得票数 1
回答已采纳
2回答
在scala中，我见过reduceByKey((x: Int , y Int) => x + y)，但我想将一个值作为字符串进行迭代，并进行一些比较。我们可以通过reduceByKey(x: String , y: String)使用reduceByKey吗？
代码：
val sparkConf = new SparkConf().setMaster("local").setAppName("Spark AVRO Read")
val sc = new SparkContext(sparkConf)
val inPath= "/home/0537
浏览 3提问于2016-05-04得票数 1
3回答
如何在云数据集中转换字符串到日期？
我有一个值为20191120 (yyyyMMdd格式)的列，我想将它作为日期加载到BigQuery中的一个表中。表列数据类型也是日期。
到目前为止，我尝试使用“解析作为简单日期”将字符串转换为时间戳，并尝试使用格式日期将字符串转换为“yyyy”，但是这个步骤将字符串转换为字符串，最终加载失败。我甚至试图在o/p模式中显式地将列指定为date。但是它在运行时失败了。
我尝试将其作为时间戳保存在管道中，并尝试将日期加载到Bigquery类型中。
我注意到op出现的错误是字段dt_1与avro整数不兼容。在加载之前，是否在内部将提取液转换为avro。AVRO没有一
浏览 6提问于2019-12-07得票数 2
回答已采纳
我正在运行rest请求，编译时会得到这个错误：
Caught: java.lang.IllegalArgumentException: No encoder found for request content type */*
这是我的代码：
@Grab(group='org.codehaus.groovy.modules.http-builder', module='http-builder', version='0.7' )
import groovyx.net.http.RESTClient
def client = new RESTCli
浏览 6提问于2015-04-10得票数 2
1回答
我知道Hadoop中不同的文件格式？默认情况下，hadoop使用文本输入格式。使用文本输入格式的优缺点是什么？与文本输入格式相比，avro的优缺点是什么？
另外，请帮助我理解不同文件格式(Avro，Sequence，TextInput，RCFile )的用例。
浏览 5提问于2015-04-22得票数 0
回答已采纳
我尝试读取一个Avro文件，使用Wrangler进行基本转换(用name =Ben删除记录)，并将结果作为JSON文件写入google云存储中。Avro文件有以下模式：
{“类型”：“记录”、“名称”："etlSchemaBody“、”字段“：{ "type"："string”、"name"："name“}
wrangler中的转换如下：
以下是JSON文件的输出模式：
当我运行管道时，它成功运行，JSON文件是在云存储中创建的。但是JSON输出是空的。当尝试预览运行时，我得到以下消息：
为什么gcloud存储中的JSON输出文件是空的？
浏览 5提问于2020-08-31得票数 1
回答已采纳
通过在Hive中启用事务，我们可以更新记录。假设我用的是AVRO格式的蜂巢表。
如何处理更新AVRO文件并在不同服务器上再次复制这些文件(因为复制因子为3 )。
我找不到一篇很好的文章来解释这一点，以及在蜂巢中使用ACID的后果。由于建议HDFS不更新或只追加文件，因此如何在工作之间更新记录。
请给我建议。
浏览 3提问于2017-05-23得票数 1
回答已采纳
是否有方法从Map创建架构。
我有一个带有键值对的映射，并希望由此创建模式。
我看到了org.apache.avro.Schema类(来自avro 1.8.2.jar)，下面有一些API可以读取JSON并创建模式。
public Schema parse(File file) throws IOException {
return parse(FACTORY.createJsonParser(file));
}
public Schema parse(InputStream in) throws IOException {
return parse(FACTO
浏览 0提问于2018-08-29得票数 0
回答已采纳
我正在使用python的官方avro库编写一个python程序，版本为1.8.2。
这是一个简单的模式来显示我的问题：
{
"type": "record",
"namespace": "com.example",
"name": "NameUnion",
"fields": [
{
"name": "name",
"type": [
{
"ty
浏览 2提问于2018-04-25得票数 2
1回答
循环引用未在Avro中处理
、、、、
有一个名为Avro的工具，它随Avro一起提供，可用于JSON、(.avsc)和二进制格式之间的转换。但它不适用于循环引用。
我们有两个档案：
circular.avsc (由Avro生成)
circular.json (由杰克逊生成，因为它有循环引用，而Avro不喜欢这样)。
circular.avsc
{
"type":"record",
"name":"Parent",
"namespace":"bigdata.example.avro",
"f
浏览 0提问于2014-06-09得票数 4
我正在尝试创建一个有效的avro文件，用于上传到google。
var avro = require('node-avro-io').DataFile.AvroFile();
var schema = {
"name": "data",
"type": "record",
"fields": [
{"name":"key","type": "
浏览 2提问于2016-06-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
