错误:avro解析并修改json

文章/答案/技术大牛

发布

1回答

json、avro

我要吃这个json "cid":"8CUC4FKD1"和模式为"type" : "record","namespace" : "com.test.avro我认为我的代码中有问题，将json转换为avro记录，如下所示： static byte[] fromJasonToAvro(String json</

浏览 4提问于2018-07-26得票数 0

2回答

用NIFI从JSON编写AVRO固定类型

json、apache-nifi、avro

我正在尝试将包含JSON的NiFi流文件转换为AVRO。目前我使用的是转换处理器。AVRO输出模式： "type" : "record", "namespace" : "com.example", "fields"

浏览 1提问于2019-10-15得票数 0

回答已采纳

1回答

使用进化的avro模式存储黑斑羚/蜂箱

mapreduce、hive、hadoop2、avro、impala

我们有一个JSON结构，我们需要解析它，并使用它在黑斑羚/蜂巢。由于JSON结构正在发展，我们认为我们可以使用Avro。我们计划解析JSON并将其格式化为avro。我们将继续将avro序列化数据放在该文件夹中，并将一个接一个地解析输入json。比方说，我们有一个针对person的avro模式文件(hdfs://user/hdfs/

浏览 4提问于2016-04-01得票数 1

2回答

在Flink Mini Cluster (1.11)和AvroKryoSerializerUtils上运行流不起作用

apache-flink

该流映射一个生成的Avro Java类( SpecificRecord )。流作业是用Scala编写的。: class org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils java.lang.RuntimeException: Couldnot instantiate org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils.Pojo类，因为该类中嵌套了多个Avro Pojo类。所以现在我想知

浏览 38提问于2020-09-25得票数 0

3回答

如何在Python中将JSON字符串转换为Avro？

python、avro

有没有办法在没有Python模式定义的情况下将JSON字符串转换为Avro？或者这是只有Java才能处理的事情？

浏览 1提问于2014-03-13得票数 8

回答已采纳

1回答

如何将XML转换为avro？

python、xml、avro

有办法从XML直接到Python中的Avro吗？从文件上看，似乎没有一条直接的道路.到目前为止，工作流程在我看来是这样的：有没有更好(更直接)的方法？

浏览 5提问于2015-04-20得票数 2

1回答

如何在没有模式的情况下将json转换为avro？

python、json、avro

我的json的结构会有所不同，所以很难为每个事件设置一个模式。有没有办法通过编程从json中推断字段并定义模式？我使用的是Python。

浏览 1提问于2021-05-13得票数 0

1回答

若要在spring应用程序中使用合流模式注册表和avro序列化程序，如何处理json数据输入。

apache-kafka、avro、spring-cloud-stream、confluent-schema-registry

目前，我已经使用了spring云流github示例，但是我不知道如何通过提供现有的json数据将手动类型的对象转换为json格式。我可以从json数据中使用一些工具推断avro模式。但是，问题是，我不想使用使用avro从import中的类推断出来的POJO，而是使用现有的json数据。我也对应用程序/json部分感到困惑，当我使用curl -X POST时，也许有一种方法可以在http请求中提供数据(在发送消息部分添加注释)。

浏览 1提问于2020-03-04得票数 0

回答已采纳

2回答

如何从Kafka主题中转储avro数据并在Java/Scala中读取

apache-kafka、avro

为了测试目的，我们需要从Kafka主题导出生产数据:数据是用Avro编写的，模式被放在schema注册表中。我们无法获得一个可以用Java解析的文件:解析它时总是会有异常，这表明文件格式错误。使用kafka-avro-console-consumer：它生成一个json，其中也包含一些字节，例如在反序列化BigDecimal时。我们甚至不知道要选择哪个解析选项(不是avro，不是json) 部署一个特殊

浏览 0提问于2018-03-03得票数 1

2回答

从JSON架构文件创建AVRO架构

json、avro、avro4s

我将JSON文件& JSON Schema解析为AVRO Schema。我有点困惑，我必须使用AVRO文档中定义的数据类型来编写手册AVRO模式吗？

浏览 7提问于2016-04-18得票数 6

2回答

当嵌套Avro记录为null时处理该记录

java、jackson、nested、record、avro

实际上，我将Json文件转换为Avro文件。 Avro模式包含Json可能包含的所有可能字段(包括嵌套字段)，有时缺少一个或几个嵌套Json。当Jackson解析Json文件时，如果缺少嵌套Json，则相对jackson对象的引用为null。当我尝试创建Avro记录时，我得到了一个异常，因为嵌套的Avro记录不能从空引用中创建。

浏览 7提问于2017-10-16得票数 0

1回答

使用Python将最初是json的avro文件转换回json

python、json、type-conversion、avro、azure-eventhub

因此，我正在尝试读取通过HTTP POST发送到Event Hub的JSON文件，该事件中心捕获数据并将其转换为Azure Blob存储中的Avro文件格式，现在我想再次下载该文件，并使用Python将其转换回JSON格式。使用JSON序列化程序是唯一的方法吗？初始JSON格式 { "number": "111111111", "int

浏览 27提问于2021-03-31得票数 0

回答已采纳

1回答

无法解析Golang中的AVRO模式

json、go、schema、avro

我在解析AVRO json模式时遇到了困难。我尝试使用这个库中的avro.ParseSchema函数：。但是，我收到以下错误消息： import ( "log" )

浏览 0提问于2019-02-14得票数 2

1回答

Kafka c#消费者json响应反序列化问题

c#、apache-kafka、debezium

我已经通过本指南设置了Postgres连接器： using Newtonsoft.Json.Linq; { var jsonconfig

浏览 3提问于2022-04-27得票数 0

回答已采纳

1回答

Avro命名空间误差

namespaces、avro

.egg/avro/schema.py"，第1283行，在Parse返回SchemaFromJSONData(json_data，名称)中文件"/usr/local/lib/python3.4/dist-packages/avro_python3_snapshot-1.7.7-py3.4.egg/avro/schema.py"，第1254行，在SchemaFromJSONData返回解

浏览 0提问于2015-05-15得票数 1

3回答

如何从python字典创建avro模式

python、avro

我有一个定义avro模式属性的python字典： schema_dict = { 'name': 'the_name', 'fields':[{'name':'id', 'type':'string'}, {'name':'value', 'type':'integer&

浏览 36提问于2021-06-23得票数 0

回答已采纳

2回答

在Avro模式中为简单的json创建嵌套记录

json、hadoop、hive、avro

我正在为以下json (针对Hadoop)构建一个Avro模式： "name_tag":"Guy", "fieldA" :","value2"], "fieldD" : ["value1"] "another_field" : &quo

浏览 6提问于2014-03-05得票数 1

回答已采纳

1回答

用Python把用罗马文字写成的班加语转换成它在班加语中的音标

python、avro

我得到了一个名为PyAvroPhonetic的python包，并安装了它。>>> from pyavrophonetic import avro >>>import pyavrophonetic>>> from pyavrophonetic import avro >>> avr

浏览 3提问于2018-01-03得票数 3

回答已采纳

1回答

无法从日期创建Avro* Schema对象*

apache-kafka、avro、kafka-python

我有一个带有此属性的Avro模式：我正在使用Python客户端和生产者not a valid Avro schema: Type property "[u'date'

浏览 2提问于2017-04-28得票数 0

回答已采纳

点击加载更多