1回答
我正在读关于Kafka事务数据流的文章，有一件事我不清楚，那就是协调器将WriteTxnMarkerRequest发送给每个分区的领导者之后会发生什么。在最初的设计文档中，数据流程图看起来并不像协调器在等待确认。如果是这样，它是否只是将最终提交或中止消息写入事务日志？
浏览 15提问于2019-10-24得票数 0
回答已采纳
1回答
Kafka消息写入延迟
、、、、
我们正在尝试在Infosphere CDC- Confluent kafka设置中测量消息写入的延迟。我们有虚拟的表和虚拟的事务将被执行。数据流- MF DB2表--> IIDR --> Kafka主题 (对于Kafka，制片人是iidr) 在没有任何企业监控工具的情况下，找出样本事务的写入延迟的正确方法是什么？我们是否可以检查写入日志并考虑每个事务时间戳，并与cdc事务日志进行比较，以找出写入延迟？ PS- I配置了jconsole来收集
浏览 67提问于2019-03-05得票数 0
我正在尝试使用python code.My代码中的kafka.ReadFromKafka()方法读取kafka主题中的数据，如下所示：import apache_beam as beam
plants = ( | &#
浏览 1提问于2020-07-07得票数 0
在不使用汇流平台的情况下，可以使用kafka连接将主题数据插入到db。我们有许可证问题。无论我在哪里做RnD，都找不到没有汇合的。请帮帮我！
浏览 0提问于2019-07-15得票数 0
回答已采纳
1回答
我是Spark的新手，看起来棒极了！我只是想知道实现这一点的最好方法是什么。我应该把它们切成5分钟的块放在不同的目录中吗？如何将该命名结构与跨不同HDFS目录特定时间片相关联？我是否实现了知道日志记录的嵌入时间戳的filter()方法？谢谢!克里斯
浏览 0提问于2015-12-02得票数 0
2回答
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：at org.apache.beam.sdk.Pipeline.run(Pipeline.javacom.google.cloud.teleport.v2
浏览 2提问于2020-12-07得票数 1
.NET/Java应用程序每秒生成许多json对象(15.00-90.000)，其中包括有关金融事务的各种信息。这些消息被发送到Apache上的特定主题，该主题将由Druid (OLAP数据库)使用。Application (.Net/Java) --> Apache KafkaTopic <-
浏览 0提问于2019-05-06得票数 0
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)bigquery主题名SA，子网(运行<em
浏览 3提问于2020-12-07得票数 0
我有一个IBM AIX的例子，需要将syslog、文件日志和可能的appslog发送到Apache，这有可能吗？我试着搜索一些关于nxlog的内容，但是他没有输出到Kafka的AIX，还有其他解决方案吗？
浏览 5提问于2018-01-05得票数 1
1回答
我一直在尝试Apache Kafka开源生产者和消费者数据流。我有一个问题，使用1.) KafkaProducer, producer.send和2.)它们不都是用于kafka流数据的吗？如果我只使用KafkaProducer, producer.send，我不能实现数据流吗？
浏览 1提问于2018-03-16得票数 0
1回答
我需要将hdfs中的数据写入到kinesis流中，以便进一步计算。有人可以指导我如何将数据从hdfs放到kinesis流中吗？例如，我在hdfs上有拼图格式的数据。我现在想把数据放到动态流中。我怎样才能控制运动中允许的极限。
浏览 2提问于2017-09-23得票数 0
1回答
我试图用JoinBolt将两个卡夫卡数据流(使用卡夫卡喷口)连接成一个数据流，并使用下面的代码片段()
JoinBoltjoinBolt = new JoinBolt("kafka</
浏览 1提问于2018-08-22得票数 0
回答已采纳
是否可以在我的笔记本电脑中使用kafka docker在本地使用apache kafka开发事件数据流应用程序，然后将应用程序部署到AWS msk (kafka)，以便仅用于预生产和生产即可节省成本。
浏览 0提问于2020-02-14得票数 0
我已经将数据存储到kafka主题中，并且我想使用landoop中的CassandraSinkConnector迁移到cassandra。
浏览 20提问于2019-08-09得票数 1
回答已采纳
1回答
Kafka中的消息一致性测试场景
、、、、
我正在构建一个POC，它包含一个部署在Kubernetes上的Kafka集群和三个spring引导应用程序，它们从kafka读取数据并写入jms，反之亦然。
浏览 28提问于2020-04-21得票数 0
回答已采纳
1回答
恢复事务性发件箱模式
、、、、
问题排除：
使用跨数据库和消息代理的分布式事务来原子地更新数据库和发布消息/事件是不可行的。这意味着，在数据库实体被保存之前，我最终会保持一致性，但是没有数据丢失，因为我在Kafka主题中有消息(直到persistance工作再试一次)。
浏览 4提问于2020-12-16得票数 0
1回答
TDLR；详细信息
为了设置启用Kafka的事件中心，我跟踪了有关的详细信息。通过配置这些文件，我可以使用Kafka工具和Azure事
浏览 1提问于2021-05-07得票数 1
回答已采纳
我试图包装一个rest服务调用，它使用JPA (CrudRepository.save)将记录保存到DB，然后使用StreamBridge使用spring云流(kafka binder)将消息发送到Kafka但是，它似乎被忽略了，因为当配置中存在事务性id前缀时，StreamBridge似乎在内部创建自己的tx。如果没有事务性id前缀，ProducerFactory根本就不是事务性的，这将导致KafkaTransactionManager实例化失败。我试图完全避免创建自己的事务管理器，但
浏览 2提问于2021-07-20得票数 4
回答已采纳
我想创建一个Storm Spout，它从Apache Kafka的主题中读取数据，并将这些数据发送到连接到MongoDB的Storm bolt，并查询我从Kafka收集的消息以丰富数据。例如:我有一个personID (我是通过Kafka发来的消息得到的)，我想使用这个personID查询MongoDB中的个人地址。在我的MongoDB集合中，每个文档都有personID和地址。
浏览 0提问于2018-04-18得票数 0
错误之前的日志为：2019-01-21 17:46:32,818 localhost org.apache.kafka.common.utils.AppInfoParser: Kafka commitId : 3402a8361b734732
2019-01
浏览 5提问于2019-01-22得票数 3
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
