我使用sql-server kafka-connect和debezium来监视sql server数据库，但是当我发布并运行我的工作程序时，主题已经用名称{server_name}.{table_name}和默认的partitions=1 & replication=1创建了，即使我在"bootstrap.servers“参数中指定了两个代理。如何手动更改表主题的分区和复制，或者在worker/connector配置中预先指
浏览 0提问于2019-12-30得票数 2
我有一个用例，我想先建立一个Kafka集群，一开始我有一个Kafka代理(A)和一个动物园管理员节点。因此，以下是我的质询：
不让我们想当然地假设这件事！我的数据分布在两个经纪人身上。现在，由于一些维护问题，我想要删
浏览 0提问于2018-12-07得票数 0
我有一个卡夫卡消费者，应该消耗最低的1MB价值的记录在每次民意测验。然后将这些数据写入文件并按日期存储--例如，2022.09.22期间消耗的记录应该写入文件并存储到date_id=20220922文件夹中。文件大小应最小为1MB。对配置属性fetch.min.bytes和fetch.max.wait.ms进行了调优，以获得所需的行为。然而，当新的一天来临时，问题就出现了。在一天的更改中，使用者应该使用主题上的其余记录(它小于1MB)
浏览 2提问于2022-09-22得票数 1
回答已采纳
推特的说：for (item <- container) { return如果容器延迟计算，则可能导致运行时错误，使返回非本地！由于这些原因，通常更倾向于直接调用foreach、flatMap、map和filter -
浏览 1提问于2014-08-26得票数 2
回答已采纳
1回答
我来自Java背景，我想知道如何在python中实现类似于SPI模式的东西：。
基本上，我们正在构建一个平台，我们希望将SDK/API包分发给将在平台之上构建数据管道的“平台用户”。我们只想共享接口，实际的实现在运行时由平台解决。例如，在平台用户共享SDK类/接口之后，在运行时，当他们的代码调用IEventLog.send_event()方法时，平台将使用kafka生成器将事件发
浏览 4提问于2021-05-10得票数 3
这是我第一次使用Kafka。我学习了this教程。在启动Zookeper之后，我启动了kafka服务器。接下来，创建一个主题，然后启动该主题的使用者。这就是Zookeper日志说 导致关闭会话0x0的异常:空 2019-01-04 14:11:58,160 [myid:] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@383] -
浏览 19提问于2019-01-04得票数 0
但是，这里有句话说windows是不受支持的。在非Windows平台上，Confluent CLI提供了需要Java的汇合本地命令(用于在本地安装confluent平台上操作)，推荐使用JDK版本1.8或1.11。如果安装了多个版本的Java，请将JAVA_HOME设置为您希望汇合平台使用的版本。
是否像最新的那样支持windows？(我怀疑不是吗?)windows所支持<e
浏览 10提问于2020-07-19得票数 1
回答已采纳
我找不到一个解决方案，我正在获得的错误消息，当运行火花提交在一个码头容器。因此，总体思路是通过kafka生成数据，后者具有这样的结构：然后通过script在</
浏览 1提问于2018-12-28得票数 2
回答已采纳
我正在用Kafka建立一个信息分发系统。它将每秒处理数以万计的事件(都是统一的结构)，并且将有数千个可能的接收者。信息将到达系统，在Kafka中排队，然后被发送给接收者。使用和处理来自Kafka的消息并将其分发给各个收件人的应用程序应该能够扩展到多个节点。每个实例都应该处理工作的一部分，不管是按消息处理能力、收件人计数还是其他方式来划分，它不一定
浏览 0提问于2019-05-13得票数 1
回答已采纳
2回答
我试图连接我的卡夫卡容器和我的码头形象所有运行在本地，不想创建一个容器与卡夫卡和动物园管理员的形象。could not read message dial tcp 172.21.0.3:9092: i/o timeout
在卡夫卡日志中，它显示了Connection request from old client /172.18.0.1:56350; will be dropped if
浏览 16提问于2021-12-07得票数 3
阅读关于Kafka connect的文章，它被定义为执行任务的运行时。
说Kafka connect(或任何其他软件)是运行时到底意味着什么？它如何影响它与卡夫卡连接架构的其他部分的关系，如连接器、转换器或卡夫卡本身？
浏览 3提问于2022-07-03得票数 0
回答已采纳
是否有关于在部署在Kubernetes中的应用程序实例之间查询远程状态存储的建议？我们的应用程序实例部署有2个或更多副本。基于文档的 .stream() /如果是的话，从这个吊舱到另一个舱的呼叫会被允许吗？这是正确的做法吗？
浏览 2提问于2020-04-17得票数 1
回答已采纳
Hadoop的目标用途似乎是当输入数据是 (HDFS)，并且在映射过程中已经存储在节点本地时使用。
假设我们有不需要存储的数据；这些数据可以在运行时生成。例如，映射过程的输入是每个可能的IP地址。Hadoop是否能够有效地跨节点分发Mapper工作？您是否需要显式定义如何将输入数据(即IP地址空间)拆分到不同的
浏览 0提问于2013-05-28得票数 2
回答已采纳
对于我的应用程序，我有一些连接到本地Kafka实例的集成测试。当测试以类似于这个问题的公认答案的方式运行时，我使用Java按需创建本地实例：
在隔离运行时，我的每个测试都通过了。我遇到的问题是，我的测试使用相同的Kafka主题，我希望这些主题能够启动每个测试，不包含任何消息。但是，当我<em
浏览 3提问于2016-01-26得票数 3
回答已采纳
这是一个基于Armando Ballaci提供的答案的"Where do zookeeper store Kafka cluster and related information?“的后续问题。现在很明显，消费者偏移量存储在Kafka集群中的一个名为__consumer_offsets的特殊主题中。很好，我只是想知道这些偏移量的检索是如何工作的。主题不
浏览 40提问于2020-07-05得票数 1
我是在本地机器上使用Python的新手。到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \并将库部署到databricks中，当</
浏览 0提问于2021-01-08得票数 1
/program直接运行时，输出为: Qt : /home/user
本地住宅: /root
当以根用户的身份通过sudo (例如sudo -u user ./progra
浏览 0提问于2018-03-15得票数 1
回答已采纳
1回答
我的工作是从远程数据库获取数据，并将它们连接到一个kafka流中(丰富)。我现在要做的是定期将远程数据库轮询到本地内存中。我认为当这个轮询操作发生时，kafka流应该被暂时停止。我现在的想法是有这样的东西：private KafkaStreams streams;
@Scheduled(cron = "0 0/15 * * * *&qu
浏览 19提问于2017-08-23得票数 0
回答已采纳
我正在使用osquery来监控我网络上的服务器。下面的osquery.conf每分钟捕获通过网络端口通信的进程的快照，并将数据发布到Kafka： { "logger_kafka_brokers": "cp01.woolford.io": { "pack_system-snapshot_processes_by_port&qu
浏览 18提问于2019-10-15得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
