基于Kafka的分布式调度器

文章/答案/技术大牛

发布

1回答

apache-spark、apache-kafka、quartz-scheduler、apache-kafka-streams、distributed

我们有一个使用案例，在Kafka中，我们每天都会收到数百万个事件。我们需要生成警报，以防在例如xx天之后，在这些事件流中没有接收到特定id的任何一个状态。id 123的例子，如果我们在5天后没有收到运输中的事件。我的问题是:我们能否在xx天后为每个is安排作业，并使用Kafka授权它，使其成为分布式的。这样做，我们将不会不断轮询和检查是否违反了警报条件，而是将作业安排在我们可以查询警报条件的特定时间。

浏览 15提问于2021-03-01得票数 0

1回答

Kafka Connect HDFS Sink问题

apache-kafka、confluent-platform、apache-kafka-connect

我正在尝试使用Kafka和HDFS Sink连接器来流数据.独立模式和分布式模式都运行良好，但它只写入HDFS一次(基于刷新大小)，而不是稍后流。如果我漏掉了什么东西请帮忙。合流2.0.0 & Kafka 0.9.0

浏览 0提问于2016-08-19得票数 3

回答已采纳

1回答

镜子制造者2需要第三个卡夫卡来进行镜像操作吗？

apache-kafka、apache-kafka-connect、apache-kafka-mirrormaker

当我使用镜像器2时，我有一个问题。 Mirrormaker 2基于Kafka框架，可以将其核心看作是Kafka源和接收器连接器的组合。因此，在MM2体系结构中，有源和接收器连接器。但是，对于MM2中的连接器，是否有额外的Kafka集群？因为在kafka连接设计中，源和汇连接器需要Kafka集群来移动数据。例如，

浏览 5提问于2020-10-15得票数 0

1回答

mongodb fetch的可伸缩spring调度器

java、spring、scheduler、job-scheduling、spring-scheduled

我有一个名为A的mongodb集合。在这个集合中，有一个名为field1的日期和时间字段。在我的场景中，我必须收集基于field1的过期日期和时间的记录。在scheduler中，将记录转换为字符串，并将消息推送到Kafka topic。在我的例子中，spring调度器在4个实例上运行，并将重复的消息推送到Kafka主题。问题是，在spring scheduler中，我如何停止对<e

浏览 10提问于2020-02-17得票数 1

回答已采纳

1回答

扩展Kafka Connect以处理10K S3存储桶

amazon-s3、apache-kafka、apache-kafka-connect、scalability

Kafka Connect似乎是这类任务最常用的工具，它的可插拔架构将使未来添加新源代码变得更容易，因此它非常适合。将每个S3存储桶配置为其自己的连接器将允许我为每个任务设置不同的任务数量(映射到优先级)和轮询间隔。为我期望的文件格式构建一个Java自定义Kafka Connect源任务听起来很合理。然而，Kafka Connect code表明，在任务的生命周期内，每个正在运行的任务都被分配了自己

浏览 49提问于2021-07-28得票数 2

1回答

卡夫卡相对于RabbitMQ有什么优势？

rabbitmq、apache-kafka、communication、messaging、messagebroker

寻找在RabbitMQ上使用Apache的利弊。也是为了决定我是否应该把我现有的基础设施转移到卡夫卡。

浏览 2提问于2016-11-11得票数 0

回答已采纳

1回答

合流的架构注册表如何分配模式id？

apache-kafka、confluent-platform、confluent-schema-registry

我使用的是CachedSchemaRegistryClient和register方法，它接受一个subject和Avro模式。我是针对5.2.1汇流坞映像运行这些文件的，当我注册这个模式时，我会得到一些奇怪的行为。我注册的第一个模式返回一个id of 81 (通过使用模式注册表REST来检查该模式是否绑定到该id来备份)，然后第二个模式返回id为121。由于这种行为是出乎意料的，而且我一直无法通过Google找到答案，我很好奇是否有散列策略或类似的东西来分配模式it，我希望它从1开始并增加。

浏览 0提问于2019-08-07得票数 1

回答已采纳

1回答

Kafka Streams处理集群超时

apache-kafka、architecture、apache-kafka-streams

在运行在多个实例中的基于Kafka的分布式JVM应用程序中，我需要对特定Kafka主题中的特定消息在特定可配置时间内(此超时值由业务逻辑驱动，可能会发生变化)的事件采取操作。我如何才能以集群安全的方式实现这一点？

浏览 0提问于2020-09-29得票数 2

2回答

替代Akka群集功能

java、kubernetes、akka、microservices、akka-cluster

Akka Cluster有哪些可供选择的产品？目前看来，要实现分布式应用(即能够维护集群信息，以便能够跨节点分配工作负载，从而有效利用资源)，Akka-Cluster是唯一的选择。有没有人知道其他技术提供了跨集群节点分配工作负载的方法？

浏览 13提问于2021-04-14得票数 0

1回答

多连接器一主题分布式Kafka连接

elasticsearch、apache-kafka、apache-kafka-connect

分布式模式下Kafka Connect集群的Offset Management的行为是什么，即运行多个Connector并监听同一组主题(或一个主题)？因此，在分布式模式下，Kafka Connect将偏移量信息存储在Kafka中，该偏移量将被集群中的workers读取并提交。如果在该Kafka Connect集群中有多个Connector在监听同一主题，会发生什么情况？分区的偏移量是所有连接器<e

浏览 15提问于2019-07-01得票数 2

1回答

从客户端到服务器的Kafka与DC中的“路由器”

kafka

我想使用Kafka作为分布式应用程序服务器端的消息代理。我们的客户可以定位在世界各地，并向服务器发送频繁的消息。现在，这些消息只是ZMQ上的JSON。我正在考虑将客户机和服务器之间的连接更改为Kafka (因为我无论如何都要在服务器端使用Kafka )，但是有以下混淆： Kafka甚至打算以这种方式使用(通过它连接到服务器<em

浏览 0提问于2018-12-14得票数 1

2回答

kafka rest api -连接被拒绝

rest、apache-kafka、apache-zookeeper

我使用的是kafka_2.11.-0.9.0.1。首先，我用以下命令启动了zookeeper & kafka (如所解释的)：然后：bin/kafka-server-start.sh config/server.properties[itay@localh

浏览 0提问于2016-04-27得票数 1

1回答

dask.delayed不会导致加速

python、parallel-processing、multiprocessing、dask

为此，我尝试并行化一些耗时的顺序代码。原来的代码是： sims = [] for i in range(0, len(tokenstokens[i:i+chunksize] return sims 而实际的代码是sims.append(dask.delayed(process)(

浏览 0提问于2018-08-18得票数 1

回答已采纳

2回答

spring rest rest服务的编排

microservices、spring-kafka、saga

如果我们有四个spring REST we服务，比如说A、B、C、D，每个都有自己的数据库。我可以使用Spring kafka + rest端点吗？

浏览 0提问于2020-11-24得票数 0

1回答

Sun Grid Engine上的Python MapReduce

python、mapreduce、distributed-computing、sungridengine

我对分布式计算比较陌生，所以如果我误解了这里的一些基本概念，请原谅。我正在寻找(最好是)基于Python的Hadoop的替代方案，以便在使用基于SGE的网格引擎的集群上通过MapReduce处理大型数据集。网格引擎的OpenGrid或Sun )。我很幸运地用运行了基本的分布式作业，但我真的很想要一个功能更丰富的框架来运行我的作业。我读过像和这样的

浏览 0提问于2014-01-04得票数 2

1回答

Kafka分布式连接器的Vault

apache-kafka、apache-kafka-connect

我使用了一个基于Java的HTTP REST客户端来创建分布式Kafka连接器，但最终以安全问题告终，因为对连接器"config“的请求会暴露响应中的敏感凭据。我提到了这个官方，但在JBoss vault的上下文中没有得到太多帮助。任何参考替代开源(和免费使用)的基于Vault的解

浏览 1提问于2019-04-10得票数 1

1回答

卡夫卡GroupCoordinator是如何在卡夫卡联系中发挥作用的？

apache-kafka、apache-kafka-connect

在kafka连接分布式模式下，需要通过REST提交kafka连接源和kafka连接接收器配置。卡夫卡如何利用卡夫卡集团协调人组建消费集团？

浏览 5提问于2022-09-19得票数 0

5回答

在文件分区为日期的情况下，从kafka写入hdfs的最有效方法是什么

hadoop、hdfs、apache-kafka

我正在做的项目，应该写通过kafka到hdfs。假设有在线服务器将消息写入kafka。每条消息都包含时间戳。我想创建一个作业，根据消息中的时间戳，输出将是一个或多个文件。例如，如果kafka中的数据是 ...我想得到3个文件作为输出

浏览 0提问于2013-07-02得票数 11

回答已采纳

1回答

使用Apache Spark Batch实现Apache Kafka的偏移管理

scala、apache-spark、spark-streaming

我正在编写一个Spark (v2.2)批处理作业，它从Kafka主题中读取。Spark作业正在使用cron进行调度。我不能使用Spark Structured Streaming，因为不支持非基于时间窗口。val df = spark .format("kafka") .option(&q

浏览 15提问于2017-08-28得票数 2

回答已采纳

1回答

在本地使用Dask时，是否需要初始化客户端？

python、dask、dask-dataframe

我看过Dask教程，它们总是从客户端的初始化开始： from dask.distributed import Client client = Client(n_workers=4) 我最感兴趣的是在我的笔记本电脑上使用Dask的read_csv函数来并行读取DataFrames。初始化客户端和不初始化客户端都是一样的。当我在本地使用Dask并且仅用于读取文件时，我甚至需要初始化客户端吗？它是用Dask隐式初始化的吗？

浏览 20提问于2020-04-25得票数 0

点击加载更多