腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2338)
视频
沙龙
1
回答
使用
fastavro
从
Kafka
反
序列化
Avro
、
、
、
我正在构建一个
从
Kafka
接收数据的应用程序。当
使用
Apache ( https://pypi.org/project/
avro
-python3/ )提供的标准
avro
库时,结果是正确的,但是,反
序列化
过程非常慢。我是这样
使用
的: def do(self): schema =
fastavro
.schema.load_schema('Schema.avsc'
浏览 49
提问于2020-04-28
得票数 3
回答已采纳
1
回答
如何将大于5 GB的大文件
序列化
到
avro
?
、
、
我想
序列化
一个大约15 GB的xml文件到
avro
,并
使用
Python3.6存储在hadoop中。我的方法是在字典类型的变量中
使用
xml.minidom加载数据,然后将其保存到
avro
文件中。
浏览 16
提问于2021-09-13
得票数 0
1
回答
当我
使用
kafka
模式注册表时,我真的需要
avro
4s吗?
、
、
、
我注意到confluent有一个
kafka
序列化
程序,它可以让我
从
kafka
主题中
序列化
和反
序列化
case类,并且它会
从
注册表中拉出模式。 如果是这样,我
使用
avro
4s会有什么好处?
浏览 15
提问于2021-03-15
得票数 0
1
回答
使用
缺少的依赖项将csv转换为.
avro
、
、
、
、
我有一个Python脚本,它
使用
fastavro
库来转换csv文件并根据提供的模式
序列化
它:from
fastavro
.schema import一个185 my大小的csv文件需要4.5分钟来
序列化
,我的一些文件的大小接近5GB。因此,我想我应该测试并查看Spark如何
使用
PySpark 2.4.3处理csv到
avro
转换: from pyspark.sql import SparkSessi
浏览 1
提问于2021-09-21
得票数 0
2
回答
阅读
Kafka
中的
Avro
格式消息- Pyspark结构化流
、
、
、
我正在尝试
使用
PySpark 2.4.3阅读
Kafka
的
Avro
消息。基于下面的堆栈over flow链接,可以转换为
Avro
格式(to_
avro
),并且代码正在按预期工作。_jvm.org.apache.spark.sql.
avro
return_jvm.org.apache.
浏览 1
提问于2019-11-21
得票数 1
1
回答
confluent-
kafka
python
avro
消息
、
、
msg =
kafka
_consumer.poll(timeout=2.0) 如何通过Python confluent-
kafka
api<e
浏览 2
提问于2016-07-07
得票数 0
3
回答
星火Python
Avro
Kafka
Deserialiser
、
、
、
、
我已经在应用程序中创建了一个
kafka
流,并且可以解析任何通过它产生的文本。KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1}) reader = DataFileReader(open("customer.
avro
", "r"), Datum
浏览 4
提问于2015-05-20
得票数 4
3
回答
在c#中反
序列化
AVRO
、
、
我
从
kafka
服务器得到一个字符串,看起来: 现在,我尝试反
序列化
字符串我试过Microsoft.Hadoop.
Avro
。我
从
卡夫卡那得到绳子。另一个应用
浏览 13
提问于2017-12-13
得票数 1
回答已采纳
1
回答
无法读取用python快速包创建的微小的
avro
文件
、
、
、
我有一个很小的文件,我想
序列化
它是一个只包含那一行的文本文件:我
使用
这个小程序来完成它,
使用
了0.17.9包(python 3.5.2在Ubuntu16.04LTS上):它似乎有效
浏览 1
提问于2018-03-14
得票数 0
回答已采纳
2
回答
avro
模式问题: TypeError:不可散列类型:'dict‘
、
、
、
、
我需要为以下数据编写一个
Avro
模式。曝光是具有3个数字的数组的数组。TypeError:不可散列的类型:'dict‘,这意味着我
使用
了一个列表作为字典键。in <module> File "/usr/local/lib64/python3.6/site-packages/confluent_
kafka
"
fastavro
/_schema.pyx"
浏览 39
提问于2020-08-21
得票数 0
回答已采纳
1
回答
Spring boot
Kafka
Camel
Avro
消费者
、
、
、
我一直试图找到Spring Boot
Kafka
Camel
Avro
消费者的示例代码,但没有运气。我在下面的url找到了Spring Camel
Kafka
消费者和生产者示例: 我的具体问题是,一旦我的bean
从
Avro
Schema创建,并且我有了POJO类,我如何将上面的camel for spring示例告诉用户
Avro
序列化
?").bean(kaf
浏览 6
提问于2016-08-04
得票数 2
2
回答
在Apache /Dataflow的WriteToBigQuery转换中,如何
使用
Method.FILE_LOADS和
Avro
temp_file_format启用死信模式
、
、
、
、
在这个中,Apache建议在写入BigQuery时
使用
死信模式。此模式允许您用'FailedRows'标记
从
转换输出中获取未能写入的行。然而,当我尝试
使用
它时: table=self.bigquery_table_name, method=WriteToBigQuery.Method.FILE_LOADS, temp_file_format=F
浏览 34
提问于2022-09-03
得票数 0
回答已采纳
2
回答
如何
使用
Avro
序列化
程序和模式注册表向
Kafka
发送消息
、
、
、
我试图用
Avro
序列化
程序和模式注册表向
Kafka
发送一个对象。 Properties props = new Properties();原因: java.lang.IllegalArgumentException(AbstractKafkaAvroSerDe.java:123) ~
kafka
浏览 6
提问于2017-10-31
得票数 1
1
回答
从
Logastash发送到
Kafka
和
Avro
、
、
、
、
我试图
使用
avro
模式将数据
从
logstash发送到
kafka
。我的logstash输出看起来如下: codec =>
avro
{ } at org.apache.
kafka
.connect.runtime.WorkerTask.doRun(Wo
浏览 5
提问于2020-04-22
得票数 1
回答已采纳
1
回答
为融合卡夫卡-连接-s3实现自定义AvroConverter
、
、
、
我
使用
将数据
从
apache复制到AWS S3。我收到了
浏览 1
提问于2020-01-14
得票数 1
回答已采纳
1
回答
Kafka
:
使用
架构注册表
序列化
Avro
消息时出错
、
、
我正在尝试将我的自定义类型的ProducerRecord发送给
Kafka
,但是我得到了错误:Caused by: java.lang.IllegalArgumentException: Unsupported
Avro
typeProperties() props.put("bootstrap.servers&quo
浏览 9
提问于2018-01-21
得票数 1
回答已采纳
1
回答
Python
fastavro
不正确转换浮点数
、
我很难理解在
使用
fastavro
(以及普通
avro
)来转换在我的
avro
模式中定义为浮动的数字时遇到的一个问题。我确信这与数据类型存储有关,我只是不明白。简而言之,我将一个记录传递到
fastavro
.dump,然后将结果传回
fastavro
.load,当值超过~9位时,对/
从
的转换不会返回相同的结果。import
fastavro
'name':
浏览 4
提问于2017-08-22
得票数 4
3
回答
python -将
avro
字节逻辑类型decimal反
序列化
为decimal
、
、
、
、
我正在尝试
使用
python
Avro
库(python 2)读取一个
avro
文件。当我
使用
以下代码时:from
avro
.datafile import DataFileReader, DataFileWriter },
浏览 137
提问于2018-09-11
得票数 3
回答已采纳
1
回答
Kafka
连接接口和
Avro
对象(SourceRecord vs org.apache.
avro
.Schema)
、
、
、
我在
使用
kafka
源连接器发送
Avro
对象(org.apache.
avro
.specific.SpecificRecord的实例)到
kafka
topic时遇到问题(需要准备SourceRecord实例for maven的帮助下,我将生成项目中
使用
的类的模型。
从
第二方
kafka
connect api要求
从
我的org.apache.
kafka
.connect.data.Schema能够创建源连接器的poll()方法返
浏览 1
提问于2020-02-04
得票数 0
2
回答
Python阅读器在解码
kafka
消息时返回AssertionError
、
、
我正在尝试
使用
kafka
-python、
avro
-python3包和后续来反
序列化
Python3.7.3中的
AVRO
消息。(most recent call last): kfk.read_messages(
kafka
_consumer,
avro
_reader) File "/app/modules/consume_<em
浏览 2
提问于2019-10-20
得票数 15
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
Apache Spark 2.4 内置的 Avro 数据源实战
如何将kafka中的数据快速导入Hadoop?
Spark 2.4 原生支持了avro,别再引用第三方库了
系统解读Kafka的流和表(二):主题、分区和存储
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券