腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使
Avro
模式
中
的
所有
字段
都为
空
?
java
、
avro
、
avro-tools
让
Avro
schema
中
的
所有
字段
都为
空
的
最短、最安全
的
方法是什么?当然,我可以使用
模式
的
Json并像schema.toString().replaceAll("\"type\": \"long\"", "\"type\": [\"null\", \"long\"]&q
浏览 44
提问于2019-05-12
得票数 0
1
回答
在写入
Avro
时,Spark更改架构。
apache-spark
、
avro
、
cloudera-cdh
、
spark-avro
我有一个火花作业(在CDH5.5.1
中
),它加载两个
Avro
文件(都具有相同
的
模式
),将它们组合成一个DataFrame (也使用相同
的
模式
),然后将它们写回
Avro
。作业显式地比较两个输入
模式
,以确保它们是相同
的
。 这用于将现有数据与一些更新结合起来(因为这些文件是不可变
的
)。然后,通过在HDFS
中
重命名原始文件,将原始文件替换为新
的
组合文件。但是,如果我重复更新过程(即尝试向先
浏览 2
提问于2016-07-26
得票数 1
1
回答
在序列化提交给
avro
的
可选日期类型时失败,而不考虑
空
值或非
空
值
avro
、
jodatime
、
date-conversion
、
localdate
,但无法找出原因:依赖
avro
1.8.2
的
其他项目似乎能够处理这个问题,我们检查了
所有
我们认为相关
的
地方,
所有
代码都是相同
的
,除了在
avro
工具生成
的
java
浏览 11
提问于2022-09-01
得票数 0
2
回答
当嵌套
Avro
记录为null时处理该记录
java
、
jackson
、
nested
、
record
、
avro
我有个关于嵌套阿夫罗记录
的
问题。实际上,我将Json文件转换为
Avro
文件。
Avro
模式
包含Json可能包含
的
所有
可能
字段
(包括嵌套
字段
),有时缺少一个或几个嵌套Json。当Jackson解析Json文件时,如果缺少嵌套Json,则相对jackson对象
的
引用为null。当我尝试创建
Avro
记录时,我得到了一个异常,因为嵌套
的
浏览 7
提问于2017-10-16
得票数 0
2
回答
Avro
/ Schema注册表-创建非
空
/非
空
的
新
字段
avro
、
confluent-platform
、
confluent-schema-registry
我已经开始使用
Avro
/Confluent
的
SchemaRegistryand.avsc文件,并希望添加
模式
中
需要
的
新
字段
。{ {"name": "one", "type": "string"}}{
浏览 3
提问于2020-05-05
得票数 0
回答已采纳
3
回答
默认为
空
值
的
Avro
logicalType 'date‘
java
、
apache-kafka
、
schema
、
avro
我需要在我
的
Avro
模式
中
向logicalType:'date‘添加一个'null’默认值。我现在
的
定义如下: "type": "record", "name": "Person", "version": "1",name":"bi
浏览 1
提问于2018-03-19
得票数 5
回答已采纳
2
回答
如何
使
表
中
的
所有
字段
为
空
?
phpmyadmin
我知道
如何
使
列为
空
: 我正在使用phpmyadmin。
浏览 4
提问于2013-09-23
得票数 0
回答已采纳
1
回答
在JDBC-source-connector中生成
的
Avro
-Schema稳定吗?
apache-kafka
、
apache-kafka-connect
我有值为AvroConverter
的
kafka JDBC sorce连接器(DB2)。config
中
的
"query“是用相对复杂
的
SQL定义
的
。连接器根据元数据生成
avro
模式
,并在
模式
注册表中进行查找。如果找不到完全相同
的
架构,连接器将无法继续处理更多数据。我
的
问题是,生成
的
模式
是保持稳定还是依赖于数据输入。SYSDUMMY1“ 可以说,2021-03-05生成
浏览 9
提问于2021-03-05
得票数 0
2
回答
如何
处理在现有
字段
中间添加新
字段
的
蜂窝/
avro
模式
演化?
hadoop
、
hive
、
avro
我被告知,Hive能够处理添加到
avro
模式
中
的
新
字段
的
唯一方法是在现有
字段
的
末尾添加新
字段
。目前,我们
的
avro
生成是按字母顺序排列
的
,因此可以在
字段
列表
的
其他地方显示一个新
字段
。我对Hive几乎一无所知,但我可以看到
如何
从
avro
中
添加新
字段
,但我似乎找
浏览 2
提问于2017-08-08
得票数 1
回答已采纳
1
回答
Avro
向后兼容性不像预期
的
那样工作
scala
、
apache-spark
、
avro
、
spark-avro
我有两个
Avro
模式
V1和V2,它们如下所示:两个
字段
“一”和“二”
的
V1 "name": "test", "namespace": "
浏览 10
提问于2021-11-14
得票数 1
回答已采纳
2
回答
从对象构建新
的
SourceRecord
java
、
apache-kafka
、
apache-kafka-connect
我正在编写一个Kafka连接器,以便从Github上
的
多个来源下载一些数据(文本和yaml文件),并将它们转换为某个类
的
对象,这些对象是从avsc文件自动生成
的
: { record.getKey(), record.getValue())}
如何
根据
avro
schema定义o
浏览 11
提问于2019-06-04
得票数 1
回答已采纳
1
回答
使用avroschemaregistry验证和转换json记录
的
Nifi验证器和转换记录
apache-nifi
我需要了解ValidateRecord和ConvertRecord处理器在NiFi
中
的
理解和功能。我
的
需求 我有一个JSON流文件内容,具有不同
的
属性,很少
字段
是强制
的
,很少是可选
的
,也很少有
字段
是时间戳
字段
,很少是双重类型
的
。此外,对于大于架构
中
定义
的
最大长度
的
product和test_station_name
字段
,也不能使记录长度
的<
浏览 0
提问于2018-08-19
得票数 0
7
回答
清除ASP.net表单
中
的
所有
字段
asp.net
有没有一种简单
的
方法来重置表单
中
的
所有
字段
?当用户点击reset按钮时,
如何
使
字段
中
的
所有
值
都为
空
?
浏览 3
提问于2010-09-25
得票数 21
回答已采纳
1
回答
avro
(python)
中
的
重复
字段
python
、
schema
、
avro
我正在尝试使用python
中
的
avro
来序列化XML数据。我可以计算出可选
字段
编码,但
如何
进行重复
字段
?例如,给定此
模式
,
如何
使
favorite_number成为一个重复
字段
,以便某人可以拥有多个favorite_number?{"namespace": "example.
avro
", "type": "record"
浏览 6
提问于2015-04-16
得票数 0
回答已采纳
2
回答
使用嵌套子目录
的
输入创建表。
hadoop
、
hive
、
avro
、
create-table
、
hive-configuration
我在诸如:/data/logs/[foldername]/[filename].
avro
这样
的
文件路径中有HDFS格式
的
Avro
格式
的
数据。我想在
所有
这些日志文件(即表单/data/logs/*/*
的
所有
文件)上创建一个Hive表。(它们都基于相同
的
Avro
模式
。)/data/*/*
浏览 7
提问于2014-06-26
得票数 11
1
回答
允许在配置单元表
的
字段
中使用
空
值
hive
、
avro
我正在从存储在hdfs
中
的
avro
文件创建一个配置单元表。而且,这个
avro
文件是从mongodb集合生成
的
。问题是有些
字段
有空值,我希望hive表
中
的
字段
除了应该存储
的
内容(如int、string、array等)之外,还可以接受null值。我使用以下命令创建了配置单元表ROW FORMAT SERDE 'org.apache
浏览 1
提问于2018-07-25
得票数 0
1
回答
AvroData用
模式
缺省值替换
空
值
avro
、
apache-kafka-connect
我使用io.confluent.connect.
avro
.AvroData.fromConnectData在序列化之前转换消息。AvroData使用struct.get(
字段
)来获取值,然后将
空
值替换为
模式
默认值。正如我从
avro
文档中了解到
的
,当读者期望写入器
模式
(而不是特定消息)
中
缺少
的
字段
时,应该使用默认值来实现
模式
兼容性。 所以我
的
问题是:用
模式
缺省值替换
浏览 10
提问于2019-03-18
得票数 0
回答已采纳
3
回答
使用反射将pojo写到拼图文件
apache
、
hadoop
、
serialization
、
avro
、
parquet
我能够使用反射生成
avro
模式
,然后使用AvroSchemaConverter创建拼花
模式
。另外,我无法找到一种将Pojos转换为GenericRecords (
avro
)
的
方法,否则我可以使用AvroParquetWriter将Pojos写成块文件。有什么建议吗?
浏览 11
提问于2014-10-18
得票数 5
回答已采纳
4
回答
NullPointerException in
Avro
ReflectDatumWriter
java
、
serialization
、
reflection
、
avro
对于Java对象
的
Avro
序列化,我有一个特定
的
问题。我已经从xsd
模式
中生成了POJO,然后我尝试使用
avro
将其序列化到kafka主题上。new KeyedMessage<String, byte[]>(TOPIC_NAME, os.toByteArray()); 当我发送这两个
字段
时,
所有
的功能都按预期工作。如果我使其中一个
字段
为
空
或忽略它,我就会从写
浏览 6
提问于2014-11-03
得票数 5
回答已采纳
1
回答
配置kafka jdbc源连接器
jdbc
、
apache-kafka
、
apache-kafka-connect
我正在处理一个spring引导应用程序
中
的
kafka,当我使用kafkatemplate生成一条消息时,使用
avro
方案生成
的
消息如下: "{\"kkk\":{\"string\":\"somevalue我
的
问题是
如何
使
jdbc连接器生成与kafkaTemple相同
的
格式。
浏览 2
提问于2022-10-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“事件驱动架构”Kafka中的模式注册表和模式演化
深入理解Kafka Connect:转换器和序列化
【新增功能】集简云新增数组拆分功能
MySQL(三)基础查询
深入思考Schema管理的几个基本问题
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券