腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
KSQL
-
将
XML
转
换为
JSON
/
AVRO
、
、
、
、
表中的一列是
XML
one。如何在
KSQL
streams中将
XML
转
换为
JSON
或
AVRO
共振峰?
浏览 9
提问于2020-02-05
得票数 1
1
回答
如何
将
结构化记录直接从
KSQL
接收到连接器(例如,InfluxDB)
、
、
但是,当我转到
KSQL
时,如果我试图
将
AVRO
流直接沉入InfluxDB,就会丢失有关复杂类型(标记)的信息。我注意到来自这个的警告:“警告ksqlDB/
KSQL
还不能以与此连接器兼容的
Avro
格式写入数据”。接下来,我尝试
将
AVRO
流转
换为
JSON
格式,但现在我了解到,我必须在每个记录中指定模式,类似于这个所呈现的模式。我还无法
将
AVRO
流转
换为
JSON</em
浏览 1
提问于2020-05-28
得票数 1
1
回答
当前格式是
JSON
、
我试图使用
avro
模式在ksqldb中创建一个流到Kafka中的某个主题。该命令如下所示:主题客户看起来如下PhoneNumbers":"269 xxx-1111","269 xxx-2222",”远程“:false,”身高“:”69.9“,"FicoScore":”> 690
浏览 10
提问于2022-09-29
得票数 0
回答已采纳
1
回答
如何
将
所有消息从一个kafka主题(
avro
格式)复制并转
换为
另一个主题(
json
格式)
、
主题A
将
接收所有
json
消息并由
Avro
Schema格式化(使用模式注册中心的URL )。 由于某些原因,我们使用的开发工具不支持从主题A以
avro
格式接收消息。我们创建主题B,并希望使用KsqlDB
将
所有消息从主题A复制到主题B,并将所有消息从
avro
格式转
换为
普通的
json
格式,这样我们就可以开发一个可以从主题B获取
json
消息的组件。请给我看一下代码来创建
ksql
流来完成这个任务。
浏览 6
提问于2022-01-21
得票数 0
回答已采纳
1
回答
KSQL
streams -从结构数组中获取数据
、
、
我的
JSON
看起来像这样: { "a": "abc", "c": "ghi" "ArrayObj": [streams来将其转
换为
AVRO
并保存到一个主题,这样我就可以将其推送到JDBC Sink连接器 CREATE STREAM Example1(ArrayObj ARRAY<STRUCT&
浏览 22
提问于2019-12-21
得票数 3
1
回答
KSQL
流未从主题中获取输出
、
我已经
将
kafka连接到mysql。该主题包含
AVRO
格式的数据。现在,我想将该数据转
换为
CSV格式。为此,我使用了
KSQL
流。当我像这样创建流时(如果我用相同的主题运行消费者命令,它会显示数据),然后给select * from source_
avro
,它不会显示任何数据。遵循步
浏览 1
提问于2019-04-23
得票数 1
2
回答
JDBC Sink Connector:如何
将
Kafka消息中的字段映射到数据库表的列
、
、
、
我的消息是
JSON
格式,没有任何附加的模式。io.confluent.connect.jdbc.JdbcSinkConnectortopics=send_1value.converter=org.apache.kafka.connect.
json
.JsonConverter value.converter.schemas.enabl
浏览 1
提问于2019-10-11
得票数 0
1
回答
Kafka连接自定义转换以
将
无模式
Json
转
换为
Avro
。
、
、
、
我试图构建一个系统,从Kafka读取
json
数据(模式无模式),将其转
换为
avro
并将其推送到s3。
avro
_Schema.Builder
avro
_record =
avro
_Schema.newBuilder()我不确定这是否是正确的方法,但我面临的问题是,当调用newRecord()函数时,它希望u
浏览 1
提问于2020-12-31
得票数 1
回答已采纳
1
回答
Docker合流Kafka HDFS Sink运行但任务失败
、
、
、
、
但是,当我实际尝试
将
数据发布到我的HDFS实例时,我会收到一个不同的错误。我正在使用
ksql
-datagen来生成假数据。docker-compose exec
ksql
-datagen
ksql
-datagen quickstart=users format=
json
topic=test_hdfs maxInterval\n", "worker_id": "connect:8083"
浏览 1
提问于2018-08-18
得票数 1
1
回答
JSON
到
AVRO
在
KSQL
中的反序列化错误:由于反序列化错误而跳过记录
、
、
来自源的数据格式为
JSON
。现在在
KSQL
中,我已经创建了一个派生主题,并将
JSON
主题转
换为
AVRO
,以便可以使用JDBC连接器
将
数据转换到MYSQL。', VALUE_FORMAT='
JSON
');create TABLE
avro
_stream WITH (VALUE_FORMAT='
AVRO
') AS select * from
json
_str
浏览 26
提问于2019-07-10
得票数 0
1
回答
KAFKA连接
XML
源和
JSON
接收器
、
、
、
在KAFKA中是否有一种方法可以使用
XML
源并将其转
换为
JSON
并将
JSON
数据发送给KAFKA接收? 我见过
Avro
,Protobuf作为卡夫卡连接的转换器?它们是否能够
将
XML
转
换为
JSON
?或者他们会转
换为
AVRO
,Protobuf特定的格式,而不是
JSON
?
浏览 6
提问于2022-03-30
得票数 0
1
回答
ksqldb流是否要求两个模式具有相同数量的字段?
、
TL/DR:我在Kafka中有一个Protobuf格式的主题中的数据,我想创建一个流,
将
protobuf转
换为
Avro
格式的新主题,一旦它转
换为
avro
格式,我将有一个连接器来使用它并将其
转
储到s3存储桶中现在假设我有一个格式为protobuf的Kafka主题SearchRequest_proto,然后我想创建一个格式为
avro
的名为SearchRequest_
avro
的主题 例如,我的protobuf是-------------------
浏览 22
提问于2020-09-19
得票数 0
1
回答
使用Kafka的csv数据流
、
为此,我必须将csv记录转
换为
DataModel。我阅读了下面的教程,但无法理解如何用java编写这个教程。那么,这里有人能帮我吗?我如何
将
csv文件数据转换成数据模型?提前谢谢。
浏览 0
提问于2019-04-05
得票数 2
1
回答
Nifi:流内容(动态
json
格式)到csv
、
、
、
、
我有一个案例:在流内容中,总是
json
格式的和,
json
中的数据总是改变( kyes和values)。是否可以将此流内容转
换为
csv?非常感谢,
浏览 0
提问于2018-09-26
得票数 0
1
回答
使用Kafka Connect读取
AVRO
编码消息(由
KSQL
流创建)的问题
、
、
、
当我们通过
KSQL
创建
AVRO
消息并尝试使用Kafka来使用它们时,会发生一些奇怪的事情。有一点背景:{ "
ksql
": "
浏览 1
提问于2019-10-31
得票数 0
回答已采纳
1
回答
是否有办法
将
Kafka连接器容器连接到远程汇合群集?
、
我有两个越南船民-我试图
将
connect我
将
通过下一个docker-组合文件来运行集群:version: '2' zookeeper: -e CONNECT_CONFIG_STORAGE_TOPIC="quickst
浏览 12
提问于2022-03-06
得票数 1
1
回答
在
ksql
中读取管道分隔的值
、
VALUE_FORMAT='DELIMITED', VALUE_DELIMITER='|'); --------------------------------
ksql
> SET 'auto.offset.reset' = 'earliest'; Successfully changed local property 'auto.offset.reset|and
浏览 2
提问于2020-03-11
得票数 0
2
回答
快速入门中的
Ksql
avro
格式出现错误
、
、
嘿,我正在做
KSQL
快速入门的例子。问题是我想使用
avro
格式生成数据,但它抛出了我在底部列出的错误。cp-schema-registry:5.4.0,confluentinc/cp-zookeeper:5.4.0 decimal.format = BASE64 (io.confluent.connect.<
浏览 0
提问于2020-06-06
得票数 0
1
回答
Kafka键格式
、
、
我的主题之一有一个字符串-
json
作为键{“城市”:“X”,"id":22}。在我的
ksql
语句中,我想将它提取到两个不同的字段,而不是一个,这样以后我就可以过滤并加入。在文档中,它似乎允许我只将整个字符串插入键中,而不是允许将其格式化为
JSON
(就像FORMAT_VALUE一样),请参见下面.对此有什么建议吗?支持的格式:
JSON
、定界符和
AVRO
KEY Associates
将
Kafka主题中的消息键与
KSQL
流中的一列关联起来。
浏览 2
提问于2018-04-15
得票数 1
回答已采纳
1
回答
如何
将
XML
转
换为
基于
AVRO
Schema的
Avro
?
、
、
、
、
我有一个structured
XML
数据。我想用
AVRO
schema转换这个
XML
to
AVRO
(or
JSON
)。我已经为这个
XML
定义了
AVRO
模式。但是怎样才能把它转换成java呢?实际上,我希望将从服务器接收到的
xml
数据转
换为
Kafka Connect中的
JSON
/
AVRO
格式。做这件事最好的方法是什么?
浏览 4
提问于2019-08-09
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
基于Kafka技术栈构建和部署实时搜索引擎的实践
如何将.xml格式感兴趣区文件转换为.roi格式?
将PDF发票转换为excel、xml结构化数据的完美解决方案
ChoETL:支持多数据库读写.Net开源库,包含 CSV、XML、JSON等8个格式
热门
标签
更多标签
云服务器
ICP备案
腾讯会议
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券