如何在Avro架构中嵌套记录？
在Avro架构中嵌套记录，可以通过在Avro schema中定义嵌套的记录类型来实现。以下是一个示例，展示了如何在Avro架构中嵌套记录：
{
"type": "record",
"name": "Person",
"fields": [
{
"name": "name",
"type": "string"
},
{
"name": "age",
"type": "int"
},
{
"name": "address",
"type": {
"type": "record",
"name": "Address",
"fields": [
{
"name": "street",
"type": "string"
},
{
"name": "city",
"type": "string"
},
{
"name": "state",
"type": "string"
},
{
"name": "zip",
"type": "string"
}
]
}
}
]
}在这个示例中，我们定义了一个名为Person的记录类型，其中包含了name和age字段。然后，我们定义了一个名为Address的嵌套记录类型，并将其作为address字段的类型。Address记录类型包含了street、city、state和zip字段。
这种方式可以让您在Avro架构中嵌套记录，以便更好地组织和表示复杂的数据结构。在实际应用中，您可以根据需要调整和扩展这个示例。
相关·内容
1回答
使用Parquet文件格式为方案数据创建配置单元(0.10)表
mapreduce、nested、hive、avro、parquet
我有一个3级嵌套的java类形式的数据。我成功地使用avro Tools ReflectData创建了Avro schema，并使用ReflectDatumWriter将数据写出avro文件。在Hive中，我能够创建一个表，并使用 ('avro.schema.url'='hdfs:///schema.avsc');假设我
浏览 1提问于2014-10-15得票数 0
1回答
confluent-4.1.1是否支持带有ksql cli的嵌套avro？
apache-kafka、avro、confluent-schema-registry、ksqldb
我是否可以在此版本中创建嵌套avro数据格式的流，就像我在版本5中尝试的那样，它工作得很好，但在confluent-4.1.1中提到的嵌套avro模式中找不到有用的链接获取错误-
无法从架构注册表获取AVRO架构。找不到avro类型
浏览 0提问于2018-10-16得票数 0
1回答
是否可以将运行时未知的Avro消息转换为特定的Java类？
java、spring、avro、spring-amqp、spring-rabbit
我正在研究Avro作为序列化格式在Java应用程序中发布事件。，这有可能吗？我该怎么做？任
浏览 2提问于2016-12-08得票数 3
1回答
Apache Beam中的模式是什么？
apache-beam、dataflow
我正在阅读关于Apache中的文档，但我不能理解它的用途，如何以及为什么或在哪些情况下我应该使用它们。使用模式或使用扩展Serializable接口的类有什么区别？
浏览 0提问于2020-06-17得票数 1
2回答
当嵌套Avro记录为null时处理该记录
java、jackson、nested、record、avro
我有个关于嵌套阿夫罗记录的问题。实际上，我将Json文件转换为Avro文件。
Avro模式包含Json可能包含的所有可能字段(包括嵌套字段)，有时缺少一个或几个嵌套Json。当Jackson解析Json文件时，如果缺少嵌套Json，则相对jackson对象的引用为null。当我尝试创建Avro记录时，我得到了一个异常，因为嵌套的Avro记
浏览 7提问于2017-10-16得票数 0
1回答
自定义数据源的自动火花模式推理
apache-spark、apache-spark-sql、apache-spark-1.5
我正在为自定义数据源(属性文件)实现spark(1.5.2) sql RelationProvider。
浏览 3提问于2016-05-31得票数 0
1回答
卡夫卡连接，JdbcSinkConnector -获取“错误检索id 1的Avro模式，主题未找到。；错误代码: 40401”
apache-kafka、apache-nifi、apache-kafka-connect、confluent-platform
我已经创建了一个NiFi流，它最终将json记录发布为带有Avro编码值和字符串键的记录，使用模式中的模式。这是 in NiFi。我现在试图使用Kafka (connect-standalone)使用JdbcSinkConnector将消息移动到PostgreSQL数据库，但得到了以下错误：value.converter=io.confluent.con
浏览 0提问于2018-12-11得票数 0
回答已采纳
1回答
如何创建嵌套集合的avro模式？
java、avro、jsonschema
"line1" : "h.no - ", } }谁能帮我创建一个有效的Avro我找到了一个创建嵌套模式的示例，如下所示-{"name": "Address", {
"
浏览 0提问于2018-03-13得票数 1
3回答
如何在IntelliJ中加载avro模式？
scala、intellij-idea、avro
该项目依赖于在github上的另一个项目中的avro架构中定义的一些对象。avro模式是单个*.avdl文件。IntelliJ能识别avro *.advl文件吗？我需要以某种方式从avro advl文件生成Scala/Java类
浏览 0提问于2015-12-11得票数 6
1回答
Debezium很慢，如何改进？
apache-kafka、apache-kafka-connect、debezium
第一次使用Debezium时，我在debezium中每分钟只收到大约1000条消息(与在线基准相比非常慢)。没有节流卡夫卡连接/ MySQL/ Kafka经纪人，不知道我在这里做什么。
浏览 7提问于2021-06-14得票数 1
2回答
在集成测试中测试flink mini集群上的流时，我遇到了一个问题。该流映射一个生成的Avro Java类( SpecificRecord )。 流作业是用Scala编写的。not instantiate org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils.Pojo类，因为该类中嵌套了多个Avro Pojo类。我尝试为所有嵌套的Pojo类类型添加所有类型信息，但仍然遇到相同的问题。 所以现在我想知道是否
浏览 38提问于2020-09-25得票数 0
2回答
. AsyncAPI --卡夫卡模式演化和命名约定的最佳匹配
apache-kafka、avro、confluent-schema-registry、cloudevents、asyncapi
Avro与Cloudevent Vs AsyncAPI的区别是什么？我们可以根据需求为不同的主题使用不同的模式类型吗？
浏览 14提问于2020-03-18得票数 3
回答已采纳
1回答
Avro架构中嵌套记录的默认值
avro
这个问题/答案()清楚地说明了如何嵌套复杂类型(本例中的记录)。但是，我想知道是否有人知道如何为记录类型设置默认值。当在上述问题中显示的示例中，地址丢失时，我会出错，我更希望avro将其缺省为空字典，或者至少比空字符串更合适-而不是我必须预先默认它。
浏览 0提问于2018-04-30得票数 4
回答已采纳
1回答
apache转换为NiFi
json、twitter、apache-nifi、avro
如何在apache NiFi中将JSON转换为Avro？以前的版本似乎支持ConvertJSONToAvro。在我看来，现在应该使用convertRecord处理器：
例如，使用面向记录的处理来使用JSON树读取器读取JSON并将其写入Avro。但是，在哪里/如何指定架构呢？StandardFlowFileRecord will route to failure: ${schema.name} did not provide a
浏览 1提问于2020-06-11得票数 0
回答已采纳
1回答
如何从kafka中的主题创建大量JSON字段的？
apache-kafka、confluent-platform、ksqldb
"GlossSee": "markup" } }并希望从kafka主题创建流，所有字段都不需要指定KSQL中的每个字段
浏览 1提问于2018-10-01得票数 5
回答已采纳
1回答
在avro中填充嵌套记录
java、scala、avro
Avro新手，我有下面的模式id.avsc。我正在使用scala尝试填充记录，我的理解是这是avro中的一个联盟，但我不知道如何在联盟中填充单个记录。(但看不到getRecord方法)，如果我尝试在"id“字段输入，我会得到一个错误，说它”不是一个记录模式“。我如何才能做到这一点，或者类似于在记录上填充这个嵌套联合中的值？
*我已经尝试了几个avro的scala库，但它们
浏览 1提问于2016-11-02得票数 1
1回答
用Python3处理AVRO的嵌套模式
python-3.x、avro
我使用avro1.8.2 + python3.7 (pip install avro-python3)来处理AVRO格式。以下是来自AVRO website的示例代码 import avro.schemafromavro.io import DatumReader, DatumWriter
schema = avro.schema.pa
浏览 10提问于2019-03-03得票数 2
回答已采纳
1回答
在S3中创建组文件，而不是每个json - NIFI中的一个。
amazon-s3、apache-nifi
我正在接收API调用的结果，进行一些转换，并将其存储在S3中，现在它为每个api调用存储一个文件。": 6}],{"otherValue": "1",有时操作内部有值，在其他案例中，“action”：[]我使用带有remove参数的JoltTransformJSON删除反应，它有很多我不需要的
浏览 0提问于2019-11-03得票数 1
回答已采纳
2回答
我是否可以使用合流模式注册表从平面文件生成模式少的avro msgs？
apache-kafka、avro、confluent-platform、confluent-schema-registry
我想知道我是否可以使用合流模式注册表生成(然后将其发送到kafka)模式，而不是avro记录？如果是的话，谁能分享一些资源吗？我无法在汇合网站和谷歌上找到任何例子。我有一个普通分隔的文件，并且有一个单独的模式，目前我正在使用Avro通用记录模式来序列化Avro记录并通过Kafka发送它。这样，模式仍然与记录相关联，这使得它更加庞大。我的逻辑是，如果我删除模式，同时从kafka发送记录，我将能够获得更高的吞吐量。
浏览 1提问于2017-07-13得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
