腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8175)
视频
沙龙
1
回答
应该使用Kafka
架构
注册表服务器
、
、
、
当我使用Schema注册表服务器时,我发现不能再在同一主题中更改模式了。但是没有模式注册中心,每个记录都有自己的模式,因此随时都很容易更改模式。
浏览 1
提问于2017-12-13
得票数 0
回答已采纳
1
回答
Kafka模式演化
、
当我们改变模式的名称空间并发展它时,模式是否
向后
兼容
?Landoop UI表示,当我们将名称空间更改为新名称空间时,它是
向后
兼容
的,但在
Avro
的中找不到这一点 例如:旧
架构
"namespace":"com.xxx.yyy.zzz.a“演进
架构
"namespace
浏览 12
提问于2017-08-03
得票数 0
回答已采纳
1
回答
Kafka消息版本化
、
、
因此,我的问题是:模式注册表是确保消息
向后
兼容
性的唯一可能方法吗? 顺便问一下,有什么好的库可以从对象和模式json中转换java对象吗?
浏览 1
提问于2019-03-24
得票数 1
1
回答
Avro
架构
不
向后
兼容
、
、
我有一个
avro
模式定义如下- @namepsace("com.test.customer) record customerData {即使在向confluent注册中心注册模式时,我们也会收到错误--注册的模式与早期的模式
不
兼容
。 如果有什么原因,请告诉我们。请让我知道为什么当
架构
被定义为{null,string}时也会出现错误
浏览 21
提问于2021-04-19
得票数 0
回答已采纳
1
回答
使用一个
Avro
文件中的两个模式更新
avro
模式
、
、
、
我有一个带有第一个模式的
avro
文件,然后我更新了附加到同一文件的模式。所以现在我在一个文件中有两个模式。
avro
是如何处理这种情况的。因此,在我更新编写器以处理较新的模式之前,hdfs
avro
文件将具有两个模式。 注意-我没有模式注册表,我每天创建一个
avro
文件。因此,如果在中午更新模式,我将拥有一个包含两个模式的
avro
文件。
浏览 0
提问于2017-11-06
得票数 0
1
回答
Spark read
avro
、
正在尝试读取
avro
文件。val df = spark.read.
avro
(file)尝试手动创建
架构
,但现在遇到以下问题(file) com.databricks.spark.
avro
.SchemaConverters$IncompatibleSchemaException:无法将
Avro
架构
转换为催化剂类型,因为路径处的
浏览 0
提问于2018-06-15
得票数 1
1
回答
模式-注册表拒绝未更改的模式,因为它不
兼容
、
、
、
我们有一个kafka集群,它的
Avro
模式存储在Confluent的模式注册表中。在最近重新部署(我们的流应用程序之一)时,我们开始在单个主题(EmailSent)上看到
不
兼容
的模式错误。Caused by:org.apache.kafka.common.errors.SerializationException: Error registering
Avro
schema: {"type"type":"long","doc":"The mes
浏览 0
提问于2019-01-25
得票数 5
1
回答
Avro
契约与枚举的
兼容
性
我有一个现有的
avro
架构
{"type": { "name": "Suit",symbols": ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]"default&quo
浏览 6
提问于2020-11-30
得票数 0
1
回答
汇合SchemaRegistry如何帮助确保读取(投影)
Avro
模式的演化?
、
、
SchemaRegistry帮助与需要写入模式来解码接收消息的使用者共享用于对消息进行编码的写
Avro
模式。另一个重要的特性是帮助模式进化。读取模式
不
共享,因为
Avro
在本地使用这些模式将消息从写入器
架构
转换为读取器
架构
。 使用者C1通过添加到其
架构
中的新可选字段请求一个新属性。这是一个
向后
兼容
的更改。没有此字段编码的消息仍将被转换为读取
架构
。现在,我们得到了C1的读取模式的v2。
浏览 5
提问于2021-12-02
得票数 2
1
回答
阿夫罗联盟:向前
兼容
性?
、
我们的系统由多个微服务组成,它们发出和使用以
avro
格式编码的事件(参见底部的模式)。, expecting union at org.apache.
avro
.io.ResolvingDecoder.doAction(ResolvingDecoder.java:292) at 谢谢!! 没有明确答
浏览 1
提问于2019-01-30
得票数 4
回答已采纳
3
回答
Avro
模式
不
尊重
向后
兼容
、
、
) ~[
avro
-1.7.4.jar:1.7.4] at org.apache.
avro
.io.parsing.Parser.advance(Parser.java:88) ~[
avro
-1.7.4.jar:1.7.4]at org.apache.
avro
.io.ResolvingDecoder.rea
浏览 11
提问于2016-01-12
得票数 11
回答已采纳
1
回答
Confluent
架构
注册表:
架构
ID删除
、
、
、
我们正在开发并尝试删除某个主题的模式,因为该更改与旧模式
不
兼容
。但是,当我们运行应用程序时,它仍然指向相同的模式ID。较旧的
架构
ID (用于主题‘topic1’):51应用程序失败,并在反序列化消息时出错 at org.apache.kafka.streams.processor.internals.StreamThread.runorg.apache.<e
浏览 0
提问于2019-09-25
得票数 0
1
回答
当列被移除时Kafka连接模式的演变
、
、
、
模式演化
兼容
性设置为
向后
。就像我所理解的那样。下一个DB
架构
将被更改。从表中删除列"col3“。
向后
兼容
更改的一个示例是移除字段。开发用于处理没
浏览 0
提问于2019-07-17
得票数 3
回答已采纳
1
回答
火花放电不缩放值太大,不适合精确火花
、
、
我正在尝试用不同的模式读取由pyspark编写的
avro
文件。小数列精度的差异。下面是由pyspark编写的
avro
文件夹的文件夹结构/mywork/
avro
_data/day2/part-*day1= spark.read.format('
avro
').load('/mywork/
avr
浏览 4
提问于2020-07-07
得票数 0
回答已采纳
3
回答
模式注册表
不
兼容
、
如何检查以前在注册表中注册的
架构
? 我正在尝试注册,但是我得到了"Schema被注册与以前的主题模式
不
兼容
“异常
浏览 8
提问于2022-07-26
得票数 2
3
回答
Kafka在连接2流上抛出一个异常,其键值作为一般记录。
、
、
首先,正如您所看到的,我使用
AVRO
模式为键和值创建了两个主题。StreamThread.java:368) Caused by: org.apache.kafka.common.errors.SerializationException: Error registering
Avro
浏览 4
提问于2017-03-23
得票数 0
1
回答
为什么在我使用org.apache.spark.
avro
时在Spark2.4中必须添加org.apache.spark.
avro
依赖项来读取/写入
avro
文件?
、
、
、
我在阅读
avro
文件时遇到了一个错误。这是我的密码:此代码如预期一样失败。这是我不明白的部分,我仍然在代码中使用模块com.databricks.spark.
avro
。为什么添加org.apache.spark.
avro
依赖关系可以解决我的问题,因为我知道我并没有在代码中真正使用它。我原以为我需要将我的代码更改为这样的东西: sparkSession.read.forma
浏览 10
提问于2021-12-17
得票数 3
回答已采纳
1
回答
在Hive中,Parquet和
Avro
文件格式的模式演变意味着什么
有人能解释一下Hive中拼图和
Avro
文件格式的模式演变的含义吗?
浏览 17
提问于2019-04-08
得票数 0
4
回答
Kafka模式注册表在同一主题中
不
兼容
、
、
incompatible with an earlier schema; error code: 409 我很困惑,如果模式注册中心不能改进模式升级/更改,那么我为什么要使用模式注册中心,或者说为什么我要使用
Avro
浏览 2
提问于2018-04-12
得票数 18
1
回答
与
Avro
模式的
向后
和向前
兼容
性
、
、
我们使用Kafka消息的无注册
Avro
模式,所以我们有我们的自定义
Avro
转换器,因为我们没有可用的模式注册表 问题是,当我们使用新元素升级模式时,旧模式不是
向后
或向前
兼容
的
浏览 1
提问于2021-05-31
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“事件驱动架构”Kafka中的模式注册表和模式演化
深入思考Schema管理的几个基本问题
深入理解Kafka Connect:转换器和序列化
微服务架构设计模式-进程间通信
以太坊伊斯坦布尔升级将提高gas上限,部分智能合约或受影响
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券