基于事件的Kafka +调度设计

文章/答案/技术大牛

发布

2回答

apache-kafka、kafka-consumer-api、spring-kafka、kafka-producer-api、event-based-programming

在使用kafka的基于事件的电子商务系统中，如何处理pending_payment状态的订单自动过期？通常，每当客户请求创建新订单时，都会向topic发送一条消息，以便库存服务可以使用和保留客户订单的项目。订单的状态将转换为pending_payment。对于每个处于pending_payment状态的订单，订单中的项目将保留30分钟。我想让订单自动过期，并以可扩展的方式回滚项目的数量。我能想到<e

浏览 16提问于2019-07-21得票数 2

1回答

mongodb fetch的可伸缩spring调度器

java、spring、scheduler、job-scheduling、spring-scheduled

我有一个名为A的mongodb集合。在这个集合中，有一个名为field1的日期和时间字段。在我的场景中，我必须收集基于field1的过期日期和时间的记录。在scheduler中，将记录转换为字符串，并将消息推送到Kafka topic。在我的例子中，spring调度器在4个实例上运行，并将重复的消息推送到Kafka主题。问题是，在spring scheduler中，我如何停止对Kafka</

浏览 10提问于2020-02-17得票数 1

回答已采纳

2回答

Flink运算符中的内存查找

apache-flink

我有一个流收集和处理的Flink应用程序。该应用程序由Kafka作为事件源、协同映射函数和Kafka接收器组成，如下图所示：我想用CSV文件中的一些字段丰富Kafka输入的流。我还希望定期刷新配置磁盘位置的csv文件。此外，在配置的间隔之后，继续从文件源重新加

浏览 1提问于2022-02-19得票数 0

1回答

Flume使用案例:从HTTP读取并通过Kafka推送到HDFS

hdfs、apache-kafka、flume、flume-ng

我们的系统以HTTP POST的形式接收事件，我们需要将事件的一个副本存储在Kafka中(用于进一步处理)，并将另一个副本存储在HDFS中(作为永久存储)。我们是否可以将Flume源配置为HTTP，通道配置为KAFKA，宿配置为HDFS，以满足我们的要求。这个解决方案能行吗？

浏览 3提问于2015-09-19得票数 4

1回答

是否应使用Apache Flink进行历史查询

apache-kafka、apache-flink、event-sourcing

我正在设计一个基于Kafka的基于事件源的架构，并使用Flink进行流处理。一个用例将是查询(过滤和排序结果)历史交易数据，这些数据随着时间的推移通过Kafka主题。例如：“给我在过去5年的所有交易与这些属性，按xx排序”。总贸易历史将在1000万左右，以每年100万的速度增长。对于这样的历史查询，Flink本身是否是正确的工具，并且能够以合理的</em

浏览 0提问于2018-05-22得票数 0

1回答

Apache流和事件源、CQRS和验证

apache-kafka、cqrs、apache-kafka-streams、event-sourcing

通常的意大利面建筑:) 一步一步地，现有的应用程序将不得不采用这种架构。这就是我担心的地方。对于新的体系结构，

浏览 0提问于2018-08-28得票数 0

1回答

卡夫卡与流口水的整合

apache-kafka、drools、rule-engine

我在设计一个系统，需要：使用使用kafka发布的事件，使用基于规则的引擎在卡夫卡上发布一些规则，当规则匹配时，在卡夫卡上发布一些事件。为了做一个简单的例子(真正的用例更复杂)：系统接收来自温度传感器的事件，它使用drools对这些事件应用一些规则--即带有阈值的决策表--然后它在kafka上发送一个建议，当温度超过阈值时，表示“关闭窗口对于我所

浏览 4提问于2022-05-03得票数 1

1回答

卡夫卡作为未来事件的数据存储

java、events、integration、message-queue、apache-kafka

我有一个Kafka集群，它根据该源中的数据更改接收来自该源的消息。在某些情况下，消息将在将来处理。所以我有两个选择：将其存储在单独的DB中，并构建一个调度程序，该调度程序只在未来的日期将消

浏览 2提问于2015-01-23得票数 3

1回答

使用Apache Spark Batch实现Apache Kafka的偏移管理

scala、apache-spark、spark-streaming

我正在编写一个Spark (v2.2)批处理作业，它从Kafka主题中读取。Spark作业正在使用cron进行调度。我不能使用Spark Structured Streaming，因为不支持非基于时间窗口。val df = spark .format("kafka") .option(&q

浏览 15提问于2017-08-28得票数 2

回答已采纳

1回答

Axon Config - Kafka在引发异常后重试策略

java、spring-boot、apache-kafka、axon

我已经开始在我的项目中使用Axon 4.3.1 (最新版本)，并且出现了问题。在@eventhandler抛出异常之后，我可以在哪里配置kafka重试策略？OBS:我使用SubscribingEventProcessor类型作为事件处理器(两个项目)。我用的是不同的项目！命令模型使用mongo并在Kafka上发布事件。查询模型使用Kafka (事件总线)中的事件。这样，就可以使用单独的</

浏览 4提问于2020-04-09得票数 0

回答已采纳

1回答

UEFI是如何进行任务调度的

uefi

由于UEFI可以在操作系统启动之前运行多个驱动程序和应用程序，是否存在一个调度程序，它允许对这些程序进行多任务处理？还是一切都是按顺序执行的？

浏览 4提问于2017-09-15得票数 0

回答已采纳

1回答

如何在apache-flink中调度作业

apache-flink

要做到这一点，可能的方法是什么？flink是否提供任何作业调度功能？

浏览 10提问于2018-03-13得票数 3

10回答

Python状态机设计

python、state-machine、fsm

关于，你能和我(以及社区)分享你的Python状态机设计技术吗？目前，我正在寻找一个基于以下内容的引擎： def __init__(self):但我相信，在利用Python的动态特性(例如动态调度)的</e

浏览 174提问于2010-01-20得票数 50

回答已采纳

1回答

安全事件驱动作业调度系统的Kafka主题设计

security、event-programming、message-queue、apache-kafka

因此，我正在考虑建立一个事件驱动的系统来触发这些乔布斯，为此，我正在考虑使用卡夫卡。主题:我不确定卡夫卡主题。我要吗？每个用户一个主题？基本上，我想解决以下用例： Usecase 1用户x运行的秘密作业A依赖于用户Y运行

浏览 0提问于2020-05-05得票数 1

回答已采纳

1回答

如何在kafka物化视图中访问头部信息？

spring、spring-cloud-stream、spring-cloud-stream-binder-kafka

我正在尝试在我的应用程序中构建一些自定义的dlq逻辑，并希望基于头信息构建一个重试机制。实际重试是由调度程序触发的，该调度程序应在实体化视图中查找这些标头信息。> dlqInput(); cloud: kafka: binder:localhost:29092 defa

浏览 13提问于2020-03-30得票数 0

2回答

存储流事件的建议

apache-kafka、apache-kafka-streams、event-stream、event-stream-processing

我们正在评估持久化流事件的可能方法(用户单击来自多个不同用户的web浏览器中的事件)，以便我们能够构建定制的用户仪表板，以便稍后分析这些单击事件。然而，我很想知道Kafka是否也可以作为一个持久的数据库来存储这些事件，以便我们以后可以构建仪表板应用程序，并让它通过我们设计的一些后端web API来查询事件。本质上，这就是我们现在所想的：仪表板前

浏览 18提问于2022-03-30得票数 0

2回答

将Kafka消费者和API服务分离或合并在一起

api、apache-kafka、architecture、microservices

在最近阅读了关于基于事件的体系结构之后，我想将我的体系结构转变成一个利用这些优势的体系结构。我有两个服务公开了一个API (crud，graphql)，每个服务都基于不同的实体，并且使用不同的数据库。但是，现在每当有人在服务A中删除某一类型的行时，我需要删除服务B中的耦合行。所以我将Kafka添加到我的设计中，每当我删除服务A中的实体时，它就会

浏览 6提问于2022-01-27得票数 1

1回答

将移动客户端和web客户端直接连接到kafka是否可行

apache-kafka

我有一个用例，我必须收集用户事件并将其存储在Kafka中。在移动应用和网站中直接使用Kafka客户端直接向Kafka生成消息，而不是中间层，效率高吗？Kafka的设计是否能够处理数百万个并发连接？

浏览 15提问于2019-03-29得票数 2

回答已采纳

1回答

我可以将多个转换器/处理器附加到Apache Kafka中的单个流中吗？

apache-kafka、apache-kafka-streams

在所有的例子中，我看到了Kafka的一个简单的单转换器/处理器拓扑。我怀疑我们能否通过分解成多个转换器/处理器来模块化应用程序逻辑，然后应用于单个输入流。请在下面找到用例：当前的应用程序配置是包含所有处理逻辑任务的单个处理器，如过滤、验证、应用程序逻辑、延迟(Kafka对于dbs来说太快)和调用SP/push流。但我们现在正计划通过将每个任务分解为Kstream的独立处理器/变压器来实现所有这些操作的解耦。由于

浏览 0提问于2018-05-20得票数 1

1回答

Kafka连接基于大小的翻转与单个分区上基于时间的翻转

apache-kafka、hdfs、apache-kafka-connect、confluent-platform

我正在使用Kafka connect来接收文件到HDFS，Kafka connect有TopicPartitionWriter，它可以及时滚动到所有分区，并且没有基于大小的滚动。我想做基于大小和基于时间的滚动，但对于每个分区，因为通过每个分区的数据不是统一的，也是相似大小的文件。2个问题: 1.如果我试图通过在Kafka connect中更改大量代码来做到这一点，这会丢失原始设计吗

浏览 1提问于2020-02-20得票数 0

点击加载更多