无法使用Spock中的Kafka制作人记录进行存根

文章/答案/技术大牛

发布

1回答

java、unit-testing、apache-kafka、spock

我试图用Spock对一些Kafka代码进行单元测试，但在清除KafkaProducer.send()函数的响应时遇到了问题。下面是我需要绕过的Java代码行：下面是我的Spock代码：Object obj = new Object(org.spockframework.lang.SpreadWildcard) 我甚至用producer.send(_).get() >

浏览 6提问于2018-08-17得票数 1

1回答

Kafka服务器包含消息，但使用者不能接收任何消息(生产者使用compression.type=snappy)

compression、apache-kafka、consumer、snappy

我是Kafka.When中使用kafka 0.9.0的新手，我可以通过设置我的卡夫卡制作人的compression.type属性来设置编解码器。假设我在我的制作人中使用snappy压缩，当我使用某种卡夫卡-消费者来消费来自卡夫卡的信息时，我应该做些什么来解码来自快速的数据，还是它是卡夫卡消费者的内置特性呢？在office中，我无法</em

浏览 0提问于2016-05-25得票数 0

2回答

Avro for Kafka如何与Schema注册表一起工作？

apache-kafka、avro、confluent-schema-registry

我正在研究Kafka，作为一个初学者，下面这个问题突然出现在我的脑海中。为了使用消息，我们在Consumer中再次生成对象。现在，在Producer和Consumer这两个位置生成的对象包含一个字段 "public static final org.apache.avro.Schema SCHEMA$“，实际上将模式存储为字符串如果

浏览 0提问于2018-04-02得票数 0

1回答

我们计划建立一个伐木框架，就我们的规模而言，我们依靠kafka来作为我们想要的POC解决方案。这就是我现在所想的： Set of ~200 application machines -----> (each independently has a built in kafka producer)让应用程序机器直接调用kafka是个好主意吗？这些机器的点击率接近10亿次/天。我不想让任何东西影响应用程序机器。应用程序机器上的生产者将执行异

浏览 4提问于2016-06-24得票数 1

回答已采纳

2回答

如何从卡夫卡制片公司返回一个拥有数十亿张唱片的ArrayList？

java、apache-kafka、kafka-producer-api、apache-kafka-connect

我准备了一位卡夫卡制作人，在卡夫卡主题中列出了一份清单。它能处理一百万行/记录。我得到的生产文件由110Million+记录组成。在我的KafkaProducer?中处理如此巨大的数据的最好方法是什么？import java.util.ArrayL

浏览 2提问于2018-12-10得票数 0

1回答

将一个主题中的多个json消息合并为单个json消息。

apache-kafka、apache-kafka-streams

我正在处理一个需求，必须将来自单个事务的不同表的多个json消息合并到单个json消息对象中。我在用阿帕奇-卡夫卡。例："Customer“是包含Customer_details 2) Order_details 3) Payment_details 4) Delivery_instructions表的事务。从“订单”主题中，我得到了针对上述每个表的单独的jsons。重要的是，事务以“开始”状态启动，并由json消息中的&q

浏览 4提问于2022-11-29得票数 0

1回答

星火卡夫卡流-发送原始时间戳而不是当前时间戳

apache-spark、apache-kafka

我正在使用火花结构化流发送记录到一个卡夫卡主题。kafka主题是用config - message.timestamp.type=CreateTime创建的。这样做是为了使目标卡夫卡主题记录具有与原始记录相同的时间戳。") .option("topic"

浏览 0提问于2018-11-09得票数 0

1回答

我们可以在apache消费者中调用spring启动rest应用程序中的服务方法吗？

spring-boot、apache-kafka

我的工作是卡夫卡和弹簧引导应用程序。我正在编写一个使用驱动的文件。文件数据在数据库中。我在应用程序中有存储库和服务层。如果文件大小大于50 Id，则调用kafka producer并传递Id作为值的列表。我可以调用服务方法来提取卡夫卡消费者中的数据吗？

浏览 2提问于2018-05-25得票数 0

回答已采纳

1回答

kafka节点与节点rdkafka的比较

node.js、apache-kafka

我想将卡夫卡与我的Node.JS服务一起用作消息代理，并在和库之间进行辩论。我开始测试Kafka节点的功能(这个库似乎更受欢迎)，并且能够创建一个制作人，用它给Kafka写信，创建一个消费者，并用它阅读Kafka的内容。但是，我注意到库目前不支持一些卡夫卡特性，如编写时间戳和lz4压缩(我正在使用的Scala驱动程序支持的特性)。是否有人在kafka节点(或节点-rdkafka)<

浏览 1提问于2017-04-16得票数 13

1回答

SpockFramework全球Mocks未按预期工作

java、unit-testing、groovy、spock

我用下面的测试作为一个例子来展示我所看到的类似的问题。我认为这只是我对SpockFramework中的全球模仿是如何工作的一个误解。但是，然后我在TestStage中创建一个类的全局模拟，以覆盖返回值。IE:我只是试着测试TestStage的功能，而不是TestStep。如果TestStep只进行更改，我不想知道它们，我将分别测试它们。但是，当我运行这个测试时，全局模拟似乎永远不会生效，因为返回的名称仍然是"John&quo

浏览 3提问于2020-05-07得票数 4

回答已采纳

3回答

I/O java.io.EOFException中的Kafka错误:空

apache-kafka

我使用的是Kafka 0.8.2.0 (Scala 2.10)。在我的日志文件中，我断断续续地看到以下消息。这看起来像是一个连接问题，但我在我的本地主机上同时运行了这两个程序。这是一条无害的警告消息，还是我应该做些什么来避免它？(NetworkReceive.java:62) at org.apache.kafka.common.network.Selector.poll(Selector.java:248)at org.apache.

浏览 1提问于2015-10-30得票数 8

回答已采纳

3回答

在斯波克嘲弄一个超级阶级

unit-testing、grails、mocking、spock

如何单元测试一个在Spock中有一个超类的类，该类调用方法调用它的超类？或者你怎么嘲笑斯波克的超级阶级？method2(param1, param2) { super.method1(param1)} 如何模拟Bar类的行为

浏览 4提问于2014-06-30得票数 4

回答已采纳

1回答

解释为什么节拍Kafka分区度量比消费者度量有更高的计数

apache-kafka、metricbeat、kafka-partition

问题所在嗨，我试着用Grafana来想象卡夫卡的滞后。我一直在尝试记录卡夫卡的滞后使用米特里贝特，并自己做的数学，因为米特里拍不支持日志卡夫卡滞后的版本，我正在使用()。我不是使用max(partition.offset.newest) - max(consumergroup.offset)来计算延迟，而是在特定的kafka.topic.name上使用过滤过的sum(partit

浏览 1提问于2019-12-10得票数 0

2回答

按风暴顺序处理记录

apache-kafka、apache-storm

我对Storm并不熟悉，而且我也有一些问题要解决如何按顺序处理记录。我有一个数据集，其中包含有以下字段的记录：现在，我想识别已经完成了我指定的路径的用户(例如，从位置A到位置B到位置C的用户)。我正在使用Kafka制作人并从文件中读取这些记录来模拟实时数据。数据按日期排序。因此，要检查我的模式是否符合，我

浏览 0提问于2015-10-08得票数 0

回答已采纳

1回答

卡夫卡consumer.poll挂载比特名容器

python、docker、apache-kafka、kafka-consumer-api

到ip地址都是工作的。x: 但是，我无法使用这些数据我看到了主题的创建，以及其他我不太清楚它们的含义的行。producer state till offset 0 with message format version 2 (kafka<

浏览 11提问于2021-04-07得票数 0

回答已采纳

1回答

卡夫卡主题消息的验证

apache-kafka

我和卡夫卡一起工作，我被要求对发送给卡夫卡的信息进行验证，但我不喜欢我认为这就是为什么我希望有人能在这方面给我建议的解决方案。我们有很多制作者不在我们的控制范围之内，所以他们可以用任何形式发送任何信息，我们可以发送多达8,000万条记录，而且应该在2小时内处理。验证发送的一些字段。最后两个请求将使用存储在MongoDB中的参数来完成。所有这些都应该被完成，假设我们不是唯一的消费者，所以应

浏览 0提问于2018-08-01得票数 5

2回答

字节伙伴和cglib在Spock测试中不可用

unit-testing、gradle、groovy、dependencies、spock

我开始使用Spock测试框架，我的build.gradle依赖项部分如下所示： testCompile "org.spockframework:spock-core:1.3-groovy-2.5"我有一个(无用的) Spock测试，它需要创建存根： given: '' def random

浏览 3提问于2019-06-01得票数 4

回答已采纳

3回答

对于给定的测试，没有在Spock上为spring引导应用程序进行单元测试

gradle、intellij-idea、groovy、spock

使用IntelliJ IDEA中的groovy单元测试设置一个新的项目。我无法运行我的第一个单元测试。我在IntelliJ内部创建了它，它位于src/test/groovy下面。 result == ITEM_UNIT_PRICE} 下面是当我单击IntelliJ中的</e

浏览 14提问于2020-10-08得票数 7

回答已采纳

1回答

在apache中，在得到kafka的响应之前，生产者有什么配置来控制最大等待时间？

apache-kafka

在我们的应用程序中，对于每个导致数据更新/插入到DB的请求( REST端点后调用)，我们必须向Kafka发布/生成一条消息，以便下游系统使用并进行进一步处理。而且，应用程序中大多数POST请求的SLA为5秒，并且我们的大部分POST调用都是同步的。这意味着，在POST调用中结束的任何处理都应该在5秒内完成，以避免超时问题。使用这种设置，如果一个场景中</

浏览 2提问于2020-01-30得票数 0

回答已采纳

2回答

具有独特消息模式的星火结构流多个Kafka主题

apache-spark、apache-kafka、spark-structured-streaming

现状： "message": {"countryId": "21", &quo

浏览 1提问于2018-04-11得票数 3

点击加载更多