1回答
我写了一个JMH基准测试来比较java 1.8中Avro (1.8.2)和Protobuf (3.5.0)的序列化性能。根据JMH的说法，Protobuf每秒可以序列化一些数据470万次，而Avro每秒只能序列化800k次。JMH对名为serialize的方法进行了基准测试。enc
浏览 31提问于2018-01-21得票数 3
1回答
我尝试用Java在几种序列化格式之间进行性能测试，包括avro/protobuf/thrift等。protobuf/thrift平均使用2000毫秒，但avro需要9000毫秒。lon
浏览 4提问于2020-12-26得票数 2
1回答
为了提高处理时间和所需内存的性能，我们正在试验Protobuf和avro。我想知道如何使用avro格式使用jersey发送/接收数据。
浏览 0提问于2014-07-21得票数 2
回答已采纳
我在java中有一个Hadoop作业，它具有序列输出格式：我想用Parquet格式代替。我试图用一种天真的方式来设置它：ParquetOutputFormat.setOutputPath(job, output);ParquetOutp
浏览 5提问于2017-03-16得票数 3
2回答
我想知道Kafka序列化不同数据格式所用的时间。我怀疑我是否能做到这一点(因为我认为这是在Kafka方面完成的)。如果是，我们怎么做?序列化是在message.send()之后完成的吗？否则，我也在检查可用的Kafka监控指标，在他们的文档中也没有发现任何与此相关的内容。我已经将请求延迟平均作为一个可能的指标，但它的值似乎太高了，不能只作为序列化部分。有没有人能给出同样的建议。
浏览 0提问于2019-11-28得票数 0
我试图插入Kafka的消息太大了，所以我使用AVRO来使它们成为二进制的，但是从代码的角度进行实现有点糟糕和过于复杂(我需要有模式文件.avsc，生成avro类的maven插件)。问题是: AVRO vs JSON模式与Protobuf，消息大小的差别是什么？如果我使用JSON模式，它会像AVRO一样保存在kafka内部的二进制文件中吗？
浏览 13提问于2022-10-03得票数 0
回答已采纳
我有一个avro模式和avro，我想把它们放到一个protobuf中。具体来说，我有两个变量：2- Map<Long, Schema> myschemamap (this is a map containing a long of schema objects)
protobuf不支持"schema“和"map&q
浏览 0提问于2015-02-16得票数 0
我已经阅读了一些文档，其中说我可以使用Avro、JSONSchemaConverter或JSONConverter。我需要在我的java代码中添加这个吗？(你能给我举一个用例吗？)
浏览 2提问于2022-09-26得票数 0
我在我的项目中使用Apache Avro，并且我要求将即将到来的protobuf数据保存在Avro Schema中。我在网上搜索，但没有找到任何解决方案。
我该怎么做呢？
浏览 1提问于2013-05-30得票数 0
1回答
我已经以protobuff格式序列化了数据，我希望将其转换为Avro序列化。protobufData.getSchema(ProtoTest.Msg.class);生成的o再次是一个protobuf现在，我想用相同的模式将o编写为avro。java.lang.ClassCastException: example.avro.ProtoTest$Msg cannot be cast to org.apache.
浏览 4提问于2013-07-03得票数 4
以下是流程：卡夫卡的原型有多可靠？有很多人使用它吗？使用Kafka和protobuf到底有什么好处/缺点
浏览 4提问于2016-09-12得票数 0
1回答
我正在尝试在我的scala代码库中引用生成的Avro文件。我正在使用commercehub avro gradle插件生成avro java编译文件，它们可以在build/generated-main-avro-java/中正确生成 这就是我的gradle文件的样子"gradle.plugin.com.lightbend.akka.grpc:akka-grpc-gradle-plugin:0.7.2"
classpath 'com.google.pr
浏览 6提问于2020-09-07得票数 0
回答已采纳
1回答
我见过Avro，Protobuf作为卡夫卡连接的转换器？它们是否能够将XML转换为JSON？或者他们会转换为AVRO，Protobuf特定的格式，而不是JSON？
浏览 6提问于2022-03-30得票数 0
2回答
或者，在AVRO模式中有可选字段基本上会直接与拥有模式的全部意义相矛盾吗？我尝试过的结构是这样的，但没有成功： "type": "record", "fields": [ "name": "TestStringField
浏览 2提问于2022-04-28得票数 2
我可以使用JDBCIO和Avro Coder访问mysql表。现在，我正在尝试使用JdbcIO加载我的蜂巢数据库。下面是从数据流连接到蜂巢时抛出的异常。梁极客的任何帮助都会很有帮助。Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/reflect/AvroSchema
at org.apache.beam.sdk.coders.AvroCodercom.google.cloud.bigquery.cs
浏览 2提问于2017-07-03得票数 0
1回答
查找以protobuf格式实现消息序列化的库或算法，其模式版本是从合流模式注册表中检索的。我使用php-rdkafka扩展向Kafka主题发送消息。
浏览 2提问于2022-04-20得票数 -2
回答已采纳
我想消费来自Kafka的事件，这是在Protobuf，并写到GCS与Apache Camel Kafka连接器。我使用Protobuf转换器，因此事件同时具有值和模式。我是否有可能以Avro格式(带有模式的GenericDatumWriter)将这些事件写入Google？干杯!
浏览 5提问于2021-12-10得票数 1
1回答
我需要用Java以编程方式使用Parquet-mr库来读取Parquet文件。我需要有选择地读取几列并跳过其他列(例如，从500列中读取3列)。我似乎找不到任何关于如何做到这一点的文档。如果有的话，有人能给我指一指吗？
浏览 30提问于2019-01-23得票数 0
3回答
我尝试了protobuf编辑器，它对协议缓冲区非常有用，并为avro提供了一些插件，称为avro编辑器。对于不包含联合的简单avro模式，它可以很好地工作。什么是非常有限的和实际用例不可用。要求：我们对任何avro RPC相关特性都不感兴趣。在Windows或Linux操作系统上运行另一种选择是使用avro工具并将其转
浏览 0提问于2014-07-11得票数 7
2回答
Mountain View", "zipcode": 94041}
我需要编写一个模式，以便在中注册，这样就可以用JSON_SR、AVRO或Protobuf序列化这个示例JSON数据。是否有用于Python或Node的生成器库可以将JSON数据对象作为三个序列化程序(如JSON_SR、AVRO或Protobuf )之一的输入和输出Kafka模式？
浏览 13提问于2022-08-04得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号